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前 言 


我 是 个 安全 感 匮乏 的 人 ， 对 新 鲜 事 物 总 会 保持 一 定 的 警惕 。 总 想 知 道 为 什么 会 这 样 ， 为 什 
么 会 那样 ， 渴 望 将 一 切 都 看 得 通 透 ， 而 不 仅仅 是 记 住 字里行间 的 规则 条 理 。 








知道 Golang 很 早 ， 但 观望 了 相当 长 时 间 。 究 其 原因 ， 无 非 是 一 门 新 出 的 语言 ， 自 身 和 相 
关 资 源 都 不 成 就 ， 不 值得 立即 投入 精力 。 只 是 后 来 屡屡 出 现 的 “NextC” 让 我 终究 起 了 一 探 
究竟 的 欲望 ， 很 想 知道 这 个 goroutine 和 coroutine 究竟 有 什么 区 别 。 正 好 那 段 时 间 我 在 拆 
解 greenlet 和 lua 的 源码 ， 算 是 相互 借鉴 。 


从 R60 到 现在 ,历经 好 儿 年 , 一直 跟着 源码 去 学 习 。 其 间 有 各 种 故事 ， 倒 不 值得 在 此 蘑 轧 ， 
只 能 说 欣喜 昔 恼 挫 杂 ， 乐 在 其 中 罢了 。 虽 说 这 是 本 写 Golang 的 书 ， 但 我 依然 庆幸 自 己 的 
C、ASM 底子 不 错 ， 让 我 多 了 种 学 习 手 段 ， 能 比 多 数 人 了 解 得 更 深入 些 。 





尽管 这 已 是 本 书 第 五 版 ， 但 内 容 几乎 全 部 重 写 ， 各 种 错漏 在 所 难免 ， 希 望 您 能 及 时 指正 。 


全 书 共 分 三 册 : 上 册 《语言 详解 》， 中 册 《标准 库 》 (未 定 ) ， 下 册 《源码 剖析 》。 


联系 方式 : 


微 博 : weibo.com/qyuhen 
开源 : github.com/qyuhen/book 
邮件 : qyuhen@hotmail.com 
社区 : qyuhen.bearychat.com 
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开始 学 习 Go。 

第 一 版 ， 基 于 R60。 

升级 到 1.0。 

升级 到 1.0.2。 

升级 到 1.1。 

第 二 版 ， 基 于 1.2。 

第 三 版 ， 基 于 1.3。 

第 四 版 ， 基 于 1.4。 

第 五 版 ， 基 于 1.5 RC。 

新 版 《学 习 笔 记 》 ， 升 级 到 1.5.1。 
下 册 “《 源 码 谢 析 >》 截稿 。 

下 册 《源码 剖析 》 校 对 结束 ， 正 式 发 布 。 


一 . 准备 


内 容 基 于 Golang 1.5.1， 测 试 环境 Linux AMD64， 不 包含 32 位 内 容 。 





我 觉得 是 时 候 抛 弃 32 位 平台 了 。 除 了 学 习 ， 日 常 开发 和 架构 都 不 需要 这 个 东西 了 。 而 且 运 行 时 
内 部 对 32 位 的 处 理 看 着 就 别扭。 





本 书 重 点 剖析 Golang 运行 时 的 内 部 执行 机 制 ， 以 便 能 深入 了 解 程序 运行 期 状态 ， 这 有 助 
于 深入 理解 语言 规则 ， 写 出 更 好 的 代码 ， 无 论 是 规避 GC 潜在 问题 ， 还 是 为 了 节约 内 存 ， 
亦 或 提升 运行 性 能 。 


为 便于 阅读 ， 相 关 代 码 被 市 碱 ， 如 有 疑问 请 对 照 原始 文件 。 如 果 Golang 版 本 不 同 ， 示 例 代码 行 
号 可 能 会 存在 差异 ， 请 以 您 实际 测试 输出 为 准 。 


本 书 相 关 环 境 : 
$ go version 


go version go1.5.1 linux/amd64 


$ lsb_release -d 
Description: Ubuntu 14.04.3 LTS 


$ gdb --version 
GNU gdb (Ubuntu 7.7.1-0ubuntu5~14.04.2) 7.7.1 


本 书 示例 go 安装 包 存 放 在 /usr/local/go 目录 ， 可 能 与 您 的 有 所 不 同 ， 不 影响 测试 。 


| 村 


事实 上 ， 编 译 好 的 可 执行 文件 真正 执行 入 口 并 非 我 们 所 写 的 main.main 函数 ， 因 为 编译 占 
总 是 会 插入 一 段 引 导 代 码 ， 完 成 诸如 命令 行 参数 、 运 行 时 初始 化 等 工作 ， 然 后 才 会 进入 用 
户 逻 辑 。 








要 从 stc/runtime 目录 下 的 一 堆 文件 中 找到 真正 的 入 口 ， 其 实 很 容易 。 随 便 准 备 一 个 编译 
好 的 目标 文件 ， 比 如 “Hello, World!”。 


test.go 
package main 
func main() { 


println("hello, world!") 
} 


编译 ， 然 后 用 GDB 查看 。 


建议 : 尽 可 能 使 用 命令 行 编译 ， 而 不 是 某 些 IDE 的 菜单 命令 ， 这 有 助 于 我 们 熟悉 各 种 编译 开关 
参数 的 具体 功能 。 其 次 ， 调 试 程序 时 ， 建 议 使 用 -gctlags "-N -1" 参数 关闭 编译 器 代码 优化 和 函数 
内 联 ， 避 免 断 点 和 单 步 执 行 无 法 准确 对 应 源码 行 ， 避 免 小 函数 和 局 部 变量 被 优化 掉 。 








sqombunld deaoqsNEOWEESEESEEOO 


如 果 在 平台 使 用 交叉 编译 (Cross Compile) ， 需 要 设置 GOOS 环境 变量 。 


$ gdb test 
(gdb) info files 
Local exec file: 


Entry point: 0x44dd00 


(gdb) b x*0x44dd00 
Breakpoint 1 at 0x44dd00: file /usr/local/go/src/runtime/rt0_linux_amd64.s, line 8， 


很 简单 ， 找 到 真正 的 入 口 地址 ， 然 后 利用 断 点 命令 就 可 以 轻松 找到 目标 源 文件 信息 。 








在 src/truntime 目录 下 有 很 多 不 同 平台 的 入 口 文件 ， 都 由 汇编 实现 。 


$0 这 

rt0_android_arm.s rt0_dragonfly_amd64.s rtO_linux_amd64.s 
rto_darwin_ 386.s rto_freebsd_ 386.s rt0O_ Linux_ arm.S 
rt0o_darwin_amd64,.s rt0_freebsd_amd64.s rt@_linux_arm64.s 

用 你 习惯 的 代码 编辑 器 打开 源 文 件 ， 跳 转 到 指定 行 ， 查 看 具体 内 容 。 


tt0_linux_amd04.s 


TEXT _rt0 _amd64 linux(SB),NOSPLIT,$-8 
LEAQ (SP SI// ongv 
MOVQ OOSPYE DIN// oarge 
MOVQ $main(SB), AX 
JMP AX 


TEXT main(SB),NOSPLIT, $-8 
MOVQ $runtime:rt0_go(SB), AX 
JMP AX 





用 GDB 设置 断 点 命令 看 看 这 个 rt0_go 在 哪 。 


注意 : 源码 文件 中 的 ”符号 编译 后 变 成 正常 的 …。 


(gdb) b runtime.rt0_go 
Breakpoint 2 at 0x44a780: file /usr/local/go/src/runtime/asm amd64.s, line 12. 





这 段 汇编 代码 就 是 要 找 的 真正 目标 ， 正 是 它 完 成 了 初始 化 和 运行 时 启动 。 


asm_amd04.s 


TEXT runtime:rt0_go(SB),NOSPLIT, $0 


// 调用 初始 化 遂 数 。 

GAU runtime'args(SB) 

GABEE runtime'osinit(SB) 
CALL runtime'schedinit(SB) 


// 创建 main goroutine 用 于 执行 runtime.main。 
MOVQ $runtime:mainPpC(SB), AX 


PUSHQ AX 


PUSHQ $0 
GARE runtime'newproc(SB) 
POPQ AX 
POPQ AX 


// 让 当前 线程 开始 执行 main goroutine。 
CALL runtime'mstart(SB) 


RE 


DATA runtime:mainPC+0(SB)/8,$runtime:main(SB) 
GLOBL runtime':mainPC(SB),RODATA,$8 








至 此 ， 由 汇编 针对 特定 平台 实现 的 引导 过 程 就 全 部 完成 。 后 续 内 容 基 本 上 都 是 由 Golang 
代码 实现 。 


(gdb) b runtime.main 
Breakponmt se a 0Ox4232503 filLem/UusnAlLocaldqo /sne/run Eimer ne 28 


三 . 初始 化 


整个 初始 化 过 程 相当 繁琐 ， 要 完成 诸如 命令 行 参数 整理 ， 环 境 变量 设置 ， 以 及 内 存 分 配器 、 
垃圾 回收 器 和 并 发 调度 器 的 工作 现场 准备 。 


依照 前 一 音 找 出 的 线索 ， 先 依次 看 看 几 个 初始 化 函数 的 内 容 。 依 旧 用 设置 断 点 命令 确定 甬 
数 所 在 源 文件 名 和 代码 行 号 。 


(gdb) b runtime.args 
Breakpoint 7 at 0x42ebf0: file /usr/local/go/src/runtime/runtimel.go, line 48. 


(gdb) b runtime.osinit 
Breakpoint 8 at 0x41e9d0: file /usr/local/go/src/runtime/os1_\linux.go, line 172. 


(gdb) b runtime.schedinit 
Breakpoint 9 at 0x424590: file /usr/local/go/src/runtime/procl.go, line 40. 


函数 args 整理 命令 行 参 数 ， 这 个 没什么 需要 深究 的 。 


runtimel.go 
func args(c int32, v **byte) { 
ER Eee 


argv = V 
sysargs(c, Vv) 


函数 osinit 确定 CPU Core 数量 。 


os1_]linux.go 
func osinit() { 


ncpu = getproccount() 


} 


最 关键 的 就 是 schedinit 这 里 ， 几 乎 我 们 要 关注 的 所 有 运行 时 环境 初始 化 构造 都 在 这 里 被 调 
用 。 也 数 头 部 的 注释 列举 了 启动 过 程 ， 也 就 是 前 一 章 的 内 容 ， 不 过 信息 太 过 简洁 了 点 。 


procl.go 


WinesDoolusirabnseque ne 
AN 


YEEa LOSnI 遇 

Veawsehedmat 

// make & queue new G 

Weal le el 

func schedinit() { 
// 最 大 系统 线程 数量 限制 ， 参 考 标准 库 runtime/debug.SetMaxThreads。 
sched.maxmcount = 10000 


// 栈 、 内 存 分 配器 、 调 度 器 相关 初始 化 。 
stackinit() 

mallocinit() 
mcommoninit(_g_.m) 


// 处 理 命 令 行 参数 和 环境 变量 。 
goargs() 
goenvs() 


// 处 理 GODEBUG、GOTRACEBACK 调试 相关 的 环境 变量 设置 。 
parsedebugvars() 


// 垃圾 回收 器 初始 化 。 
ge 





// 通过 CPU Core 和 GOMAXPROCS 环境 变量 确定 P 数量 。 
pioecse. ninenu 
if n := atoi(gogetenv("GOMAXPROCS")); n > 0 { 
if n > MaxGomaxprocs { 
n = _MaxGomaxprocs 
上 


Po 


// 调整 P 数量 。 
if procresize(int32(procs)) != nilL { 
throw("unknown runnable goroutine during bootstrap") 


内 存 分 配器 、 垃 圾 回收 占 、 并 发 调度 器 的 初始 化 细节 需要 涉及 很 多 专属 特征 ， 先 不 去 理会 ， 
留待 后 续 章 节 再 做 详解 。 





事实 上， 初始 化 操作 到 此 并 未 结束 ， 因 为 接 下 来 要 执行 的 是 tuntime.main， 而 不 是 用 户 逻 
辑 入 口 函 数 main.main 。 


(gdb) b runtime.main 
Breakpoint 10 at 0x423250: file /usr/local/go/src/runtime/proc.go, line 28. 


在 这 里 我 们 关注 的 焦点 是 : 包 初 始 化 函数 init 的 执行 。 


btoc.go 


// The main goroutine. 
func main() { 
// 执行 栈 最 大 限制 : 1 GB on 64-bit, 250 MB on 32-bit. 
Dt == 0 
maxstacksize = 1000000000 
} else { 
maxstacksize = 250000000 





口 


// 启动 系统 后 台 监 控 (定期 垃圾 回收 ， 以 及 并 发 任务 调度 相关 ) 。 
Systemstack(func() { 


newm(sysmon, nil) 











I) 


// 执行 runtime 包 内 所 有 初始 化 函数 init。 


runtime_init() 





// 启动 垃圾 回收 器 后 台 操 作 。 
gcenable() 











// 执行 所 有 的 用 户 包 (包括 标准 库 ) 初始 化 函数 init。 


main_init() 


// 执行 用 户 逻 辑 入 口 main.main 函数 。 


main_main() 


// 执行 结束 ， 返 回 退 出 状态 码 。 
exit(0) 


与 之 相关 的 就 是 rantime_init 和 main_init 这 两 个 函数 ， 它 们 都 是 由 编译 器 动态 生成 。 


proc.go 


//go: linkname runtime_init runtime.init 
func runtime_init() 


//go: linkname main_init main,.init 
func main_init() 


//go:Linkname main_main main.main 
func main_main() 


注意 链接 后 符号 名 的 变化 : runtime_init > runtime.init。 


我 们 准备 一 个 稍微 复杂 点 的 示例 ， 看 看 编译 需 


TSEG> 


na dOEES dg 


= io 这 


| 


+- Sum.go 


lib/sum.go 
package lib 


Me a) 
println("sum,.init") 


} 

Um Sn nt 
n= 0 
Om 1 ange Xl 

n += i 

} 
hewn 

} 

test.go 


package main 
import ( 


se 


ne tatial( yy 
prmtani( test mae) 


func test() { 
TS) 


main.go 
package main 


import ( 
_ "net/http"”  // 引入 一 个 标准 库 里 的 包 。 


RunemnanE 
Denman ma 2) 


func main() { 
test() 


uee ne 
[opted nt tlt sl 


编译 ， 执 行 输出 。 


seqonbunlo gehtadgsee Ne omnes 


$ ./test 
sum. init 
main.init.2 
main.init.1 
es 
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接 下 来 我 们 用 反 汇编 工具 ， 看 看 最 终 动态 生成 代码 的 真实 面目 。 


$0 too objdumo Sse runmlmneN nN Es 


TEXT runtime.init.1(SB) /usr/\local/go/src/runtime/alg.go 
alg.g0:322 


TEXT runtime.init.2(SB) /usr/local/go/src/runtime/mstats.go 
mstats.go:148 


TEXT runtime.init.3(SB) /usr/local/go/src/runtime/panic.go 
panic,go:154 


TEXT runtime.init.4(SB) /usr/\local/go/src/runtime/proc.go 
proc.go:140 


TEXT runtime.init(SB) /usr/local/go/src/runtime/zversion.go 
zversion.g0o:9 
panic.go:9 
selectegon4o 


ZVeEpsnlonegos9 ia 本 CARRUmEEmESSITNRE SS 业 
CALL runtime,.init.2 


(CSB) 
zversion.go: (SB) 
CALL runtime,. init.3(SB) 

(SB) 
(PY 


zversion.go: 
CALL runtime,.init.4 
MOVL $0x2, Qx43f436 
ADDQ $0x58, SP 

RE 


zversion.go: 
zversion.go: 
zversion.go: 


ms = N= 


zversion.go: 


命令 行 工具 go tool objdump 可 用 来 查看 实际 生成 的 汇编 代码 ， 参 数 使 用 正则 表达 式 。 当 然 如 果 
习惯 Intel 格式 ， 那 么 还 是 用 GDB 吧 。 


很 显然 ，runtime 内 相关 的 多 个 init 函数 被 赋予 唯一 符号 名 ， 然 后 再 由 rontime.init 进行 统 
一 调用 。 注 意 ，zversion.go 也 是 动态 生成 的 。 


ZVversion.go 
// auto generated by go tool dist 
package runtime 
const defaultGoroot = ‘/usr/local/go. 
const theVersion = “go1.5.1. 
const goexperiment = 、. 


const stackGuardMultiplier = 1 
var buildVersion = theVersion 


至 于 main.init， 情 况 基 本 一 致 。 区 别 在 于 它 负责 调用 非 rantime 包 的 初始 化 函数 。 


Fogo tooloDdump so maumNe ni test 


TEXT main. init.1(SB) src/main.go 
main.go:7 


TEXTe ma eMmanedgo 
main.go:15 


EX ma (Betes ed 
eS dOR 


TEXT main.init(SB) src/test.go 
test.go:13 
test.go:13 CALL net/http.init(SB) 


test.go:13 CALL test/Lib.init(SB) 
Leckiegom CAE mein u(y 
estsgo ld CADmanmnenat 2(se) 
test.go:13 CALL main.init.3(SB) 
test.go:13 MOVL $0x2, 0x48d543(IP) 
esiadgon lnREen 


被 引用 的 包 ， 包括 lib 和 标准 库 net/http 里 的 init 函数 都 被 main.init 调用 。 


虽然 从 当前 版 本 的 编译 器 角度 来 说 ，init 的 执行 顺序 和 依赖 关系 、 文 件 名 以 及 定义 顺序 有 关 。 但 
这 种 次 序 非常 不 便于 维护 和 理解 ， 极 易 造成 潜在 错误 ， 所 以 强烈 要 求 让 init 只 做 该 做 的 事情 : 局 
部 初始 化 。 


最 后 需要 记 住 


。 所 有 init 函数 都 在 同一 个 goroutine 内 执行 。 
。 所 有 init 函数 结束 后 才 会 执行 main.main 函数 。 


四 . 内 存 分 配 


内 置 运行 时 的 编程 语言 通常 会 抛弃 传统 的 内 存 分 配方 式 ， 改 由 自主 管理 。 这 样 可 以 完成 类 
似 预 分 配 、 内 存 池 等 操作 ， 以 避 开 系统 调用 带 来 的 性 能 问题 。 当 然 ， 还 有 一 个 重要 原因 是 
为 了 更 好 地 配合 垃圾 回收 。 


1. 概述 
在 深入 内 存 分 配 算法 细节 前 ， 我 们 需要 了 解 一 些 基 本 概念 ， 这 有 助 于 建立 宏观 认识 。 
基本 策略 : 


， 每 次 从 操作 系统 申请 一 大 块 内 存 (比如 1MB) ， 以 减少 系统 调用 。 
， 将 申请 到 的 大 块 内 存 按照 特定 大 小 预先 切 分 成 小 块 ， 构 成 链表 。 

， 为 对 象 分 配 内 存 时 ， 只 需 从 大 小 合适 的 链表 提取 一 个 小 块 即 可 。 

， 回 收 对 象 内 存 时 ， 将 该 小 块 内 存 重 新 归还 到 原 链表 ， 以 便 复 用 。 

， 如 闲置 内 存 过 多 ， 则 尝试 归还 部 分 内 存 给 操作 系统 ， 降 低 整 体 开销 。 





a 上 DOD Nm 一 


内 存 分 配器 只 管理 内 存 块 ， 并 不 关心 对 象 状 态 。 且 不 会 主动 回收 内 存 ， 由 垃圾 回收 器 在 完成 清理 
操作 后 ， 触 发 内 存 分 配 部 回收 操作 。 


内 存世 
分 配器 将 其 管理 的 内 存 块 分 为 两 种 : 


.span: 由 多 个 地 址 连续 的 页 (page) 组 成 的 大 块 内 存 。 
“object: 将 span 按 特定 大 小 切 分 成 多 个 小 块 ， 每 个 小 块 可 存储 一 个 对 象 。 


按照 其 用 途 ，span 面向 内 部 管理 ，object 面向 对 象 分 配 。 








分 配种 按 页 数 来 区 分 不 同 大 小 的 span。 比 如 ， 以 页 数 为 单位 将 span 存放 到 管理 数组 中 ， 
需要 时 就 以 页 数 为 索引 进行 查找 。 当 然 ，span 大 小 并 非 固定 不 变 。 在 获取 闲置 span 时 ， 
如 果 没 找到 大 小 合适 的 ， 那 就 返回 页 数 更 多 的 ， 此 时 会 引发 裁剪 操作 ， 多 余部 分 将 构成 新 


的 span 被 放 回 管理 数组 。 分 配器 还 会 尝试 将 地 址 相 邻 的 空闲 span 合并 ， 以 构建 更 大 的 内 
存 块 ， 减 少 碎片 ， 提 供 更 灵活 的 分 配 策略 。 
malloc.go 


大 EUESITIINEE = ls 
Dagesuze 0 pageSsiit // 8KB 


mheap.go 


type mspan struct { 


next *mspan // 双向 链表 。 

prev *mspan 

start pageID // 起 始 序 号 = (address >> _PageShift) 
npages uintptr // 页 数 


freelist gclinkptr  // 待 分 配 的 object 链表 。 


用 于 存储 对 象 的 object， 按 8 字 市 倍数 分 为 na 种 。 比 如 说 ， 大 小 为 24 的 object 可 用 来 存储 
范围 在 17 ~ 24 字 节 的 对 象 。 这 种 方式 虽然 会 造成 一 些 内 存 浪费 ， 但 分 配器 只 需 面 对 有 限 
的 几 种 规格 (size class) 小 块 内 存 ， 优 化 了 分 配 和 复 用 管理 策略 。 


分 配 需 会 尝试 将 多 个 微小 对 象 组 合 到 一 个 object 块 内 ， 以 节约 内 存 。 


malloc.go 


_NumSizeClasses = 67 


分 配器 初始 化 时 ， 会 构建 对 照 表 存储 大 小 和 规格 的 对 应 关系 ， 包 括 用 来 切 分 的 span 页 数 。 


msize.go 


/Size elassesr Gomputed and nia Lz ed Dy Loess 

0 

// SizeToCLass(0 <= n <= MaxSmallSize) returns the size class, 
// 1 <= sizeclass < NumSizeClasses, for n. 
/zenelasseonmsmeserved liomeanm os 

pf 

// class_to_ sizel[i] = largest size in class i 

// class_to allocnpages[il] = number of pages to allocate when 
/makanogmnewvobnects las 


var class_ to_ size [_NumSizeClasses]int32 


var class_to_allocnpages [_NumSizeClasses]int32 


var size to class8 [1024/8 + 1]int8 
var size to class128 [(_MaxSmallSize-1024)/128 + 1]int8 


若 对 象 大 小 超出 特定 冰 值 限制 ， 会 被 当做 大 对 象 (large object) 特别 对 待 。 


malloc.go 


_MaxSmallSize = 32 << 10 // 32KB 


管理 组 件 


优秀 的 内 存 分 配器 必须 要 在 性 能 和 内 存 利用 率 之 间 做 到 平衡 。 好 在 ，Golang 的 起 点 很 高 ， 
直接 采用 了 tcmalloc 的 成 熟 架构 。 


malloc.go 


// Memory allocator, based on tcmalloc. 
// http://g00g-perftools,.sourceforge.net/doc/tcmalloc.html 


分 配 务 由 三 种 组 件 组 成 。 


。caqche: 每 个 运行 期 工作 线程 都 会 绑 定 一 个 cache， 用 于 无 锁 object 分 配 。 
。centtal: 为 所 有 cache 提供 切 分 好 的 后 备 span 资源 。 
。heap: 管理 闲置 span ， 需 要 时 向 操作 系统 申请 新 内 存 。 


mheap.go 


type mheap struct { 





free [_MaxMHeapList]jmspan  // 页 数 在 127 以 内 的 闲置 span 链表 数组 。 
freelarge mspan // 页 数 大 于 127 (>= 1MB) 大 span 链表 。 


// 每 个 central 对 应 一 种 sizeclass。 
central [_NumSizeClasses]struct { 
mcentral mcentral 


mcentral.go 


type mcentral struct { 
sizeclass int32  // 规格 。 
nonempty mspan  // 链表 : 尚 有 空 亲 object 的 span。 
empty mspan  ”// 链表 : 没有 空闲 object, 或 已 被 cache 取 走 的 span。 


mcache.go 


type mcache struct { 
alloc [_NumSizeClassesl*mspan  // 以 sizeclass 为 索引 管理 多 个 用 于 分 配 的 span。 
} 


分 配 流程 : 


计算 待 分 配对 象 对 应 规格 (size class) 。 

从 cache.alloc 数组 找到 规格 相同 的 span。 

从 span.freelist 链表 提取 可 用 object。 

如 span.freelist 为 空 ， 从 central 获取 新 span 。 

如 central.nonempty 为 空 ， 从 heap.free/freelarge 获取 ， 并 切 分 成 object 链表 。 
如 heap 没有 大 小 合适 的 闲置 span ， 向 操作 系统 申请 新 内 存 块 。 


0 


释放 流程 : 


将 标记 为 可 回收 object 交还 给 所 属 span.freelist。 

该 span 被 放 回 central， 可 供 任 意 cache 重新 获取 使 用 。 

如 span 已 收回 全 部 object， 则 将 其 交还 给 heap ， 以 便 重 新 切 分 复 用 。 
定期 扫描 heap 里 长 时 间 闲 置 的 span， 释 放 其 占用 内 存 。 


5 


注 : 以 上 不 包括 大 对 象 ， 它 直接 从 heap 分 配 和 回收 。 


作为 工作 线程 私有 且 不 被 共享 的 cache 是 实现 高 性 能 无 锁 分 配 的 核心 ， 而 central 的 作用 是 
在 多 个 cache 间 提 高 object 利用 率 ， 避 免 内 存 浪费 。 


假如 cachel 获取 一 个 span 后 ， 仅 使 用 了 一 部 分 object， 那 么 剩余 空间 就 可 能 会 被 浪费 。 而 回收 
操作 将 该 span 交还 给 central 后 ,该 span 完全 可 以 被 cache2、cacheN 获取 使 用 。 此 时 ，cachel 
已 不 再 持 有 该 span ， 完 全 不 会 造成 问题 。 


将 span 归还 给 heap， 是 为 了 在 不 同 规格 object 需求 间 平衡 。 


某 时 段 某 种 规格 的 object 需求 量 可 能 激增 ， 那 么 当 需 求 过 后 ， 大 量 被 切 分 成 该 规格 的 span 就 会 
被 闲置 浪费 。 将 归还 给 heap， 就 可 被 其 他 需求 获取 ， 重 新 切 分 。 


2. 初始 化 


因为 内 存 分 配器 和 垃圾 回收 算法 都 依赖 连续 地 址 ， 所 以 在 初始 化 阶段 ， 预 先 保留 了 很 大 的 
一 段 虚拟 地 址 空间 。 


注意 : 保留 地 址 空间 ， 并 不 会 分 配 内 存 。 


该 段 空间 被 划分 成 三 个 区 域 : 






































页 所 属 span 指针 数组 GC 标记 位 图 户 内 存 分 配 区 域 
一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
spans 512MB | bitmap 32GB | arena 512GB | 
一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 于 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
spans_mapped bitmap_mapped arena_start arena_used arena_end 


可 分 配 区 域 从 Golang 1.4 的 128GB 提高 到 512GB。 


简单 点 说 ， 就 是 用 三 个 数组 组 成 一 个 高 性 能 内 存 管 理 结构 。 


1， 使 用 arena 地 址 向 操作 系统 申请 内 存 ， 其 大 小 决定 了 可 分 配 用 户 内 存 上 限 。 

2. 位 图 bitmap 为 每 个 对 象 提 供 4bit 标记 位 ， 用 以 保存 指针 、GC 标记 等 信息 。 

3.， 创建 span 时 ， 按 页 填充 对 应 spans 空间 。 在 回收 object 时 ， 只 需 将 其 地 址 按 页 对 齐 
后 就 可 找到 所 属 span。 分 配 句 还 用 此 访问 相 邻 span， 做 合并 操作 。 








任何 arena 区 域 的 地 址 ， 只 要 将 其 偏 移 量 配 以 不 同步 幅 和 起 始 位 置 ， 就 可 快速 访问 与 之 对 应 的 
spans、bitmap 数据 。 最 关键 的 是 ， 这 三 个 数组 可 以 按 需 同步 线性 扩张 ， 无 须 预先 分 配 内 存 。 


这 些 区域 相 关 属 性 被 保存 在 heap 里 ， 其 中 包括 递 进 的 分 配 位 置 mapped/used。 


mheap.go 


type mheap struct { 
spans **mspan 
spans_mapped uintptr 


bitmap uintptr 
bitmap_mapped uintptr 


arena_start uintptr 
arena_used uintptr 
arena_end uintptr 


arena_reserved bool 


初始 化 工作 很 简单 : 








1.， 创建 对 象 规格 大 小 对 照 表 。 
2. 计算 相关 区 域 大 小 ， 并 尝试 从 某 个 指定 位 置 开始 保留 地 址 空间 。 
3.， 在 heap 里 保存 区 域 信息 ， 包 括 起 始 位 置 和 大 小 。 
4. 初始 化 heap 其 他 属性 。 
malloc.go 


funee ma oc 全 于 
// 初始 化 规格 对 照 表 。 
initSizes() 


// 64 位 系统 。 

JSaen or een on mt 300 
// 计算 相关 区 域 大 小 。 
arenaSize := round(_MaxMem, _PageSize) 
bitmapSize = arenaSize / (ptrSize * 8 / 4) 
spansslze apenaSizen/ Pagqesnze + DrSlze 
spansSize = round(spansSize, _PageSize) 


// 尝试 从 0xc000000006 开始 设置 保留 地 址 。 
// 如 果 失 败 ， 则 党 试 0x1c000000000 ~ 0x7fc000000000。 


fom n=O == 0X7T Lt 

switch { 
case GOARCH == "arm64" && GOOS == "darwin": 

p = uintptr(i)<<40 | uintptrMask&(0x0013<<28) 
case GOARCH == "arm64": 

p = uintptr(i)<<40 | uintptrMask&(0x0040<<32) 
default: 

p = uintptr(i)<<40 | uintptrMask&(0x00c0<<32) 
yr 


// 计算 整个 区 域 大 小 ， 并 从 指定 位 置 开 始 保留 地 址 空间 。 
bSnzes bitmapS lee Spans lzer anenaszer Ragesyze 


p = uintptr(sysReserve(unsafe.Pointer(p), pSize, &reserved)) 
a or (oat 
break 


// 按 页 对 齐 。 
pl := round(p, _PageSize) 


// 保存 相关 属性 。 

mheap_.spans = (**mspan) (unsafe.Pointer(p1)) 

mheapa: bitmap ="pl rspansSize 

mheap_.arena_start = pl + (spansSize + bitmapSize) 
mheap_.arena_used = mheap_.arena_start 

mmeapaanrenanend = Dnze 

mheap_.arena_reserved = reserved // 非 指定 起 始 地 址 ， 备 用 地 址 标记 。 


// 初始 化 heap。 
mHeap_Init(&mheap_, spansSize) 


// 为 当前 线程 绑 定 cache 对 象 。 
oe = et 
_g_.m.mcache = allocmcache() 


区 域 所 指定 的 起 始 位 置 ， 在 不 同 平台 会 有 一 些 差 异 。 这 个 无 关 紧 要 ， 实 际 上 我 们 关心 的 是 
保留 地 址 操作 细 市 。 


mem,_linux.go 


func sysReserve(v unsafe.Pointer，n uintptr, reserved *bool) unsafe,.Pointer { 
TSize 8S mee4omn > <3201 

p := mmap_fixed(v, 64<<10, _PROT_NONE, _MAP_ANON|_MAP_PRIVATE, -1, 0) 
i or Es A at 

if uintptr(p) >= 4096 { 

munmap(p, 64<<10) 

} 

Pet as 
上 
munmap(p, 64<<10) 
*reserved = false 
PewUinev 


func mmap_fixed(v unsafe.Pointer, n uintptr, prot, flags, fd int32, offset uint32) ... { 
p := mmap(v, n, prot, flags, fd, offset) 
if p != v && addrspace_free(v, n) { 
if uintptr(p) > 4096 { 


munmap(p, n) 


} 

p= mmap(v, n, prot, flags|_MAP_FIXED, fd, offset) 
} 
return p 


对 系统 编程 稍 有 了 解 的 都 知道 mmap 的 用 途 。 


函数 mmap 要 求 操 作 系 统 内 核 创 建新 的 虚拟 存储 器 区 域 ， 可 指定 起 始 地 址 和 长 度 。Windows 没 
有 此 函数 ， 对 应 API 是 VirtualAlloc。 


PORT _NONE: 页 面 无 法 访问 。 
MAP_FIXED: 必须 使 用 指定 起 始 地 址 。 


另外 ， 作 为 内 存 管理 的 全 局 根 对 象 heap， 其 相关 属性 也 必须 初始 化 。 


mheap.go 


func mHeap_Init(h x*mheap, spans_size uintptr) { 
// 初始 化 几 个 用 于 管理 用 途 的 固定 分 配器 (参见 本 章 后 续 ) 。 


// 初始 化 相关 属性 。 

for i := range h.free { 
mSpanList_Init(sh.free[il]y) 
mSpanList_Init(&h.busy[i]) 


mSpanList_Init(&h,.freelarge) 
mSpanList_Init(&h.busylarge) 


// 创建 central。 
for i := range h.central { 
mCentral_Init(&h.central[il]l.mcentral, int32(i)) 


// 将 全 局 变量 h_spans 指向 heap.spans。 

sp := (*slice)(unsafe.Pointer(&h_spans)) 
sp.array = unsafe.Pointer(h.spans) 

sp. len = int(spans_size / ptrSize) 
sp.cap = int(spans_size / ptrSize) 





强烈 建议 所 有 程序 员 都 学 习 一 下 虚拟 存储 器 的 相关 知识 (推荐 《深入 理解 计算 机 系统 》) ， 
很 多 误解 都 源 自 对 系统 层面 的 认 知 匮乏 。 下 面 ， 我 们 用 一 个 简单 示例 来 泪 清 有 关内 存 分 配 
的 几 个 常见 误解 。 
test.go 
package main 
import ( 
er 


Uo 
"github.com/shirou/gopsutil/process" 


var ps *process.Process 














// 输出 内 存 状态 信息 。 
func mem(n int) { 
se 0 = lb 





p, err := process.NewProcess(int32(os.Getpid())) 
J nt 
panic(err) 
ps = pp 
: 
mem, _ := ps.MemoryInfoEx() 


fmt.Printf("%d., VMS: %d MB, RSS: %d MB\n", Nn, mem.VMS>>20, mem.RSS>>20) 


func main() { 
// 1， 初始 化 结束 后 的 内 存 状态 。 
mem(1) 


// 2， 创建 一 个 10 * 1MB 数组 后 的 内 存 状态 。 
data := new([10][1024 * 1024]byte) 
mem(2) 


// 3. 填充 该 数组 过 程 中 的 内 存 状 态 。 


for i := range data { 
forx— mn "= 0 lenm(datalnl ee < tr 
oatwalle l= 
} 
mem(3) 


编译 后 执行 : 


CO ON 
<= 
i 
on 
Un 
2 
吕 
元 
On 
an 
On 
a 
中 


1， 尽 管 初始 化 时 预 留 了 544GB 的 虚拟 地 址 空间 ， 但 并 没有 分 配 内 存 。 
2， 操 作 系统 大 多 采取 机 会 主义 分 配 策略 。 申 请 内 存 时 ， 仅 承诺 但 不 立即 分 配 物理 内 存 。 
3， 物 理 内 存 分 配 发 生 在 写 操作 导致 缺 页 异常 调度 时 ， 且 按 页 提供 。 








注意 : 不 同 操作 系统 ， 可 能 会 存在 一 些 差异 。 


3. 分 配 


为 对 象 分 配 内 存 需 区 分 在 栈 还 是 堆 上 完成 。 通 常情 况 下 ， 编 译 占 有 责任 尽 可 能 使 用 寄存 器 
和 栈 来 存储 对 象 ， 这 有 助 于 提升 性 能 ， 减 少 垃圾 回收 天 压力 。 


但 千 万 不 要 以 为 用 了 new 函数 就 一 定 会 分 配 在 堆 上 ,， 相 同 的 源码 也 有 不 同 的 结果 。 


test.go 
package main 
import () 


func test() x*int { 


x := new(int) 
六 X = QxAABB 
Belenx 


} 


func main() { 
println(*test()) 


当 编 译 右 禁 用 内 联 优化 时 ， 所 生成 代码 和 我 们 源码 表面 预期 一 致 。 


$ go build -gcfLags "-1" -o test test.go // 关闭 内 联 优 化 。 
sgontoouonmdump so manm es test 


TEXT main.test(SB) test.go 
esd oO SUBQ $0x10, SP 


test.go:6 LEAQ Qx56d46(IP), BX 

test.go:6 MOVQ BX, 0@(SP) 

test.go:6 CALL runtime.newobject(SB)  /// 在 堆 上 分 配 。 
test.go:6 MOVQ 0x8(SP) ，AX 

test.go:7 MOVQ $0xaabb, 0(AX) 

test.go:8 MOVQ AX，0x18(SP) 

test.go:8 ADDQ $0x10, SP 

test.go:8 RET 


但 当 使 用 默认 参数 时 ， 函 数 test 会 被 main 内 联 ， 此 时 结果 就 变 得 不 同 了 。 


$ go build -o test test.go // 默认 优化 。 
$EUORLOOUEODJoumoEsemanNesnmama test 


TEXT main.main(SB) test.go 
testadou SUBQ $0OxXL87 SP 
test.go:12 MOVQ $0x0, 0x10(SP) 
test.go:12 LEAQ QOx10(SP), BX 
test.go:12 MOVQ $0xaabb, 0(BX) 
test.go:12 MOVQ 0(BX), BP 
test.go:12 MOVQ BP，0x8(SP) 
test.go:12 CALL runtime.printlock(SB) 
test.go:12 MOVQ Qx8(SP), BX 
test.go:12 MOVQ BX, 0(SP) 
test.go:12 CALL runtime.printint(SB) 
test.go:12 CALL runtime.printnL(SB) 
test.go:12 CALL runtime.printunlock(SB) 
test.go:13 ADDQ $0x18, SP 
Leesacour eae 


看 不 懂 汇 编 没关系 ， 但 显然 内 联 优 化 后 的 代码 没有 调用 newobject 在 堆 上 分 配 内 存 。 


编译 器 这 么 做 ， 道 理 很 简单 。 没 有 内 联 时 ， 需 要 在 两 个 栈 帧 间 传 递 对 象 ， 因 此 在 堆 上 分 配 
而 不 是 返回 一 个 失效 栈 帧 里 的 数据 。 而 当 内 联 后 ， 实 际 上 就 成 了 main 栈 帧 内 的 局 部 变量 ， 
无 需 去 堆 上 操作 。 


Golang 编译 器 支持 逃逸 分 析 (escape analysis) ， 它 会 在 编译 期 通过 构建 调用 图 来 分 析 局 部 变量 
是 否 会 被 外 部 引用 ， 从 而 决定 是 否 可 直接 分 配 在 栈 上 。 


编译 参数 -gcflags "-m" 可 输出 编译 优化 信息 ， 其 中 包括 内 联 和 逃逸 分 析 。 


你 或 许 见 过 “Zero Garbage 这 个 说 法 ， 其 目的 就 是 避免 在 堆 上 的 分 配 行为 ， 从 而 减 小 垃圾 回收 
压力 ， 提 升 性 能 。 另 外 ， 做 性 能 测试 时 使 用 go test -benchmem 参数 可 以 输出 堆 分 配 次 数 统计 。 


好 了 ， 本 章 要 关注 的 是 内 存 分 配 部 ， 而 非 编译 器 。 借 着 上 面 这 个 例子 ， 我 们 开始 深入 挖掘 
newobject 具体 是 如 何 为 对 象 分 配 内 存 的 。 


mcache.go 


type mcache struct { 
Atocatore eachnenfiorm ny onc/ Pommerse 
tiny unsafe.Pointer 
tinyoffset uintptr 


alloc [_NumSizeClasses]l*mspan 


malloc.go 


// 内 置 永 数 new 实现 。 
func newobject(typ *_type) unsafe.Pointer { 
return mallocgc(uintptr(typ.size), typ, flags) 





} 


func mallocgc(size uintptr, typ * type, flags uint32) unsafe.Pointer { 
// 当前 线程 所 绑 定 的 cache。 
c := gomcache() 


// 小 对 象 。 
if size <= maxSmallSize { 
// 无 需 扫 描 非 指针 微小 对 象 (小 于 16) 。 
if flags&flagNoScan != 0 && size < maxTinySize { 
Oe = ny oliset 


// 对 齐 ， 调 整 偏 移 量 。 
TESTZESYE == S00 
OMeound(or ties 


} else if size&3 == 0 {1{ 
Of 一 EOUIOICO 2 

} else if size&l == 0 { 
OMe = ound(ormt>) 


// 如 果 剩 余 空 间 足 够 ... 
if off+size <= maxTinySize && c.tiny != nil { 
// 返回 指针 ， 调 整 偏 移 量 为 下 次 分 配 做 好 准备 。 
2 ado(erny ot 
cram vontsete. ol Sze 
return x 





// 获取 新 的 tiny 块 。 

// 就 是 从 sizeclass = 2 的 span.freelist 获取 一 个 16 字 节 object。 
s = c.alloc[tinySizeClass] 

VE = Salineest 


// 如 果 没 有 可 用 object， 那 么 需要 从 central 获取 新 的 span。 
if v.ptr() == nil { 
systemstack(func() { 
mCache_Refill(c, tinySizeClass) 
加 


// 重新 提取 tiny 块 。 
s = c.alloc[tinySizeClass] 
v= S.freelist 


// 提取 object 后 ， 调 整 span.freelist 链表 ， 增 加 使 用 计数 。 
s.freelist = Vv.ptr().next 
SET EE 


// 初始 化 〈 零 值 ) tiny 块 。 
x = unsafe.Pointer(v) 

(el (eo 0 
(E22 (| 


// 对 比 新 旧 两 个 tiny 块 剩余 空间 。 
// 新 块 分 配 后 ， 其 tinyoffset = size， 因 此 比 对 偏 移 量 即 可 。 
if size < c.tinyoffset { 

// 用 新 块 替换 。 

Cntany x 

Garteny ots el SZe 


// 消费 一 个 新 的 完整 tiny 块 。 
size = maxTinySize 

} else { 
// 普通 小 对 象 。 


// 查 表 ， 以 确定 sizeclass。 


var sizeclass int8 


if size <= 1024-8 { 
sizeclass = size to class8[(size+7)>>3] 
} else { 


sizeclass = size to_class128[(size-1024+127)>>7] 


J 


size = uintptr(class_ to_size[lsizeclass]) 


// 从 对 应 规格 的 span.freelist 提取 object。 
s= c.alloc[lsizeclass] 
Vv := S.freelist 


// 没有 可 用 object， 从 central 获取 新 的 span。 
I Val Tt af 
systemstack(func() { 
mCache_Refill(c, int32(sizeclass)) 
3 


// 重新 提取 object。 
s = c.alloc[sizeclass] 
Vv = Ss.freelist 


// 调整 span.freelist 链表 ， 增 加 使 用 计数 。 
s.freelist = v.ptr().next 
Sl aI 


// 清 零 (变量 默认 总 是 初始 化 为 零 值 ) 。 
x = unsafe.Pointer(v) 
if flags&flagNoZero == 0 { 
v.ptr().next = 0 
if size > 2*ptrSize && ((#k[2]uintptr)(x)) [1] 
memcLr(unsafe.Pointer(vV)，size) 


} 
} else { 
// 大 对 象 直接 从 heap 分 配 span。 
var s *mspan 
systemstack(func() { 
s = largeAlloc(size, uint32(flags)) 
加 


// span.start 实际 由 address >> pageShift 生成 。 


x = unsafe.Pointer(uintptr(s.start << pageShift)) 
size = uintptr(s.elemsize) 


// 在 bitmap 做 标记 ... 
// 检查 触发 条 件 ， 启 动 垃圾 回收 ..， 


ew 


0 


整理 一 下 这 段 代码 的 基本 思路 : 


。 大 对 象 直接 从 heap 获取 span。 
。 小 对 象 从 cache.alloc[sizeclass].freelist 获取 object。 
。 微 小 对 象 组 合 使 用 cache.tiny object。 


对 微小 对 象 的 处 理 很 有 意思 。 首 先 ， 它 不 能 是 指针 ， 因 为 多 个 小 对 象 被 组 合 到 一 个 object 
里 ， 显 然 无 法 应 对 垃圾 扫描 。 其 次 ， 它 从 span.freelist 获取 一 个 16 字 节 的 object， 然 后 利 
用 偏 移 量 来 记录 下 一 次 分 配 位 置 。 





这 里 有 个 小 细节 ， 体 现 了 作者 的 细心 。 当 tiny 因 剩 余 空 间 不 足 而 使 用 新 object 时 ， 会 比较 新 旧 两 
个 tiny object 的 剩余 空间 ， 而 非 粗 暴 地 喜新厌旧 。 











分 配 算 法 本 身 并 不 复杂 ， 没 什么 好 说 的 ， 接 下 来 要 关注 的 自然 是 资源 不 足 时 如 何 扩张 。 考 
不 到 大 对 象 分 配 过 程 没 有 central 这 个 中 间 环 节 ， 所 以 先 跳 largeAlloc 这 个 坑 。 
malloc.go 


func largeAlloc(size uintptr, flag uint32) x*mspan { 
// 计算 所 需 页 数 。 


npages® := Ize >>PageSshaft 

if size& PageMask != 0 1 
npages++ 

J 


// 清理 (sweep) 垃圾 ... 


// 从 heap 获取 span， 并 重 置 在 bitmap 里 的 标记 。 
s := mHeap_Alloc(&mheap_, npages, 0, true, flag& FlagNoZero == 0) 
heapBitsForSpan(s.base()).initSpan(s. layout()) 





return s 


先 不 忙 跟 过 去 看 mHeap_Alloc， 因 为 小 对 象 扩张 函数 mCache_Refill 最 终 也 会 调用 它 。 


mcache.go 


func mCache Refill(c *mcache, sizeclass int32) x*mspan { 
// 放弃 当前 正在 使 用 的 span ( 尚 在 central.empty 里 ) 。 
s := c.alloc[sizeclass] 
if s != &emptymspan { 
s.incache = false // 取消 正在 使 用 标志 。 


// 从 central 获取 span 进行 替换 。 

s = mCentral_CacheSpan(&mheap_.centrall[sizeclass].mcentral) 
c.alloc[lsizeclass] = s 

return s 


在 跳 转 到 central 之 前 ， 先 得 了 解 sweepgen 这 个 概念 。 垃 圾 回收 每 次 都 会 累加 这 个 类 似 代 
龄 的 计数 值 ， 而 每 个 等 待 处 理 的 span 也 有 该 属性 。 


mheap.go 
type mheap struct { 


sweepgen uint32 // sweep generation, see comment in mspan 
sweepdone uint32 alspans aresswep 


type mspan struct { 


// if sweepgen == h->sweepgen - 2, the span needs sweeping 
IT sweepgen =="h Ssweepgem— TT therspanmnis eurrently beimnglswept 
// if sweepgen == h->sweepgen, the span is swept and ready to use 


// h->sweepgen is incremented by 2 after every GC 
sweepgen uint32 


在 heap 里 闲置 的 span 不 会 被 垃圾 回收 器 关注 ， 但 central 里 的 span 却 有 可 能 正在 被 清理 。 
所 以 当 cache 从 central 提取 span 时 ,该 属性 值 就 非常 重要 。 





mcentral.go 


type mcentral struct { 
nonempty mspan  // 链表 : span 尚 有 空闲 object 


加 


用 。 
用， 或 已 被 cache 取 走 。 





| 


empty mspan  // 链表 : span 没有 空闲 object 


func mCentral_CacheSpan(c *mcentral) x*mspan { 
// 清理 (sweep) 垃圾 ，.,， 


sg := mheap_.sweepgen 
[SEAN 
// 遍历 nonempty 链表 。 
for s = c.nonempty.next; s != &c.nonempty; s = s.next { 


// 需要 清理 的 span。 

if s,sweepgen == sg-2 && cas(&s.sweepgen, sg-2, sg-1) { 
// 因为 要 交 给 cache 使 用 ， 所 以 转移 到 empty 链表 。 
mSpanList_Remove(s) 
mSpanList_InsertBack(&c.empty, s) 


ND 志 理 时 
mSpan_Sweep(s, true) 
goto havespan 


// 忽略 正在 清理 的 span。 
if s.sweepgen == sg-1 { 
continue 


// 已 清理 过 的 span。 
mSpanList_Remove(s) 
mSpanList_InsertBack(&c.empty, s) 


goto havespan 


// 遍历 empty 链表 。 
foress enempty nexie oo I esempty es onextt 
// 需要 清理 的 span。 
if s.sweepgen == sg-2 && cas(&s.sweepgen, sg-2, sg-1) { 
mSpanList_Remove(s) 
mSpanList_InsertBack(&c.empty, s) 
mSpan_Sweep(s, true) 


// 清理 后 有 可 用 object。 
Se er 
goto havespan 


// 清理 后 依然 没 可 用 object， 重 试 。 
goto retry 


// 忽略 正在 清理 的 span。 
if s.sweepgen == sg-1 { 
continue 


// 已 清理 过 ， 且 不 为 空 的 span 都 被 转移 到 noempty 链表 。 
// 这 里 剩 下 的 自然 都 是 全 空 或 正在 被 cache 使 用 的 ， 继 续 循环 已 没有 意义 。 
break 


// 如 果 两 个 链表 里 都 没 span 可 用 ， 扩 张 。 
s = mCentral_Grow(c) 


// 新 span 将 被 cache 使 用 ， 所 以 放 到 empty 链表 尾部 。 
mSpanList_InsertBack(&c.empty, s) 


havespan: 
// 设置 被 cache 使 用 标志 。 
Slneachnes nue 


return s 


可 以 看 出 ， 从 central 里 获取 span 时 ， 优 先 取 用 已 有 资源 ， 哪 怕 是 要 执行 清理 操作 。 只 有 
当 现 有 资源 都 无 法 满足 时 ， 才 去 heap 获取 span， 并 重新 切 分 成 object 链表 。 


mcentral.go 


func mCentral_Grow(c *mcentral) x*mspan { 
// 查 表 获 取 所 需 页 数 。 
npages := uintptr(class_to_allocnpages[c.sizeclass]) 
size := Uintptr(cLass_to_size[c.sizecLass]) 


// 计算 切 分 object 数量 。 
n := (npages << _PageShift) / size 


// 从 heap 获取 span。 
s := mHeap_Alloc(&mheap_, npages, c.sizeclass, false, true) 


// 切 分 成 object 链表 。 
puntptr( dstart = Pageshrt) AA 他 dE 


head := gclinkptr(p) 

Ea: gelmkper (pp 

OD UI Dt (GI 
DEE=S IZe 
on tr (ne gumKotm(py 
em SS oe no ai) 

上 


on t(D me t= 
s.freelist = head 


// 重 置 在 bitmap 里 的 标记 。 
heapBitsForSpan(s.base()).initSpan(s. layout()) 





SRS 


好 了 ， 现 在 大 小 对 象 殊途同归 ， 都 到 了 mHeap_Alloc 这 里 。 


mheap.go 


type mheap struct { 





busy [_MaxMHeapListljmspan  // 链表 数组 : 已 分 配 大 对 象 span，127 页 以 内 。 
busylarge mspan // 链表 : 已 分 配 超过 127 页 大 对 象 span。 


func mHeap_Alloc(h x*mheap, npage uintptr, sizeclass int32, large bool, needzero bool) x*mspan { 
systemstack(func() { 


s = mHeap_Alloc m(h, npage, sizeclass, large) 


}) 


// 对 span 清 零 。 


Betuumnes 


func mHeap_Alloc _m(h *mheap, npage uintptr, sizeclass int32, large bool) *mspan { 


// 清理 (sweep) 垃圾 ... 


// 从 heap 获取 指定 页 数 的 span。 

s := mHeap_AllocSpanLocked(h, npage) 

si S00 = 
// 重 置 span 状态 。 
atomicstore(&s.sweepgen, h.sweepgen) 
s.State = MSpanInUse 

freelist = 0 

ref = 0 

.Sizeclass = uint8(sizeclass) 





m wm wm 


// 小 对 象 取 用 的 span 被 存放 到 central.empty 链表 。 
// 而 大 对 象 所 取 用 的 span 则 放 在 heap.busy 链表 。 
if Large { 
// 根据 页 数 来 判断 将 其 放 到 busy 还 是 busylarge 链表 。 
// 数组 free 使 用 页 数 作为 索引 ， 那 么 Len (free) 就 是 最 大 页 数 边 界 。 
if s.npages < uintptr(len(h.free)) { 
mSpanList_InsertBack(&h.busyls.npages], s) 
} else { 
mSpanList_InsertBack(&h.busylarge, s) 


Peuwnes 


从 heap 获取 span 的 算法 核心 是 找到 大 小 最 合适 的 块 。 首 先 从 页 数 相同 的 链表 查找 ， 如 没 
有 结果 ， 再 从 页 数 更 多 的 链表 提取 ， 直 至 超大 块 或 申请 新 块 。 


如 返回 更 大 的 span ， 为 避免 浪费 ， 会 将 多 余部 分 切 出 来 重新 放 回 heap 链表 。 同 时 还 尝试 
合并 相 邻 闲置 span 空间 ， 减 少 碎片 。 
mheap.go 

type mheap struct { 


free [_MaxMHeapList]jmspan  // 链表 数组 : 页 数 127 以 内 的 闲置 span。 
freelarge mspan // 链表 : 页 数 大 于 127 的 闲置 span。 


func mHeap_AllocSpanLocked(h *mheap, npage uintptr) #mspan { 
// 先 党 试 获取 指定 页 数 的 span， 不 行 就 试 页 数 更 多 的 。 
for i := int(npage); i < len(h.free); i++ { 
// 从 链表 取 span。 
if !mSpanList_IsEmpty(&h.free[i]) { 
s = hv.free[i]l.next 
goto HaveSpan 


// 再 不 行 ， 就 试 页 数 超过 127 的 超大 span。 
s = mHeap_AllocLarge(h, npage) 


// 还 没有 ， 就 得 从 操作 系统 申请 新 的 了 。 
并 EL 
if !mHeap_Grow(h，npage) { 
return nil 


// 因为 每 次 申请 最 小 1MB/128Pages， 所 以 被 放 到 freelarge 链表 ， 再 试 。 
s = mHeap_AllocLarge(h, npage) 
a nt 

return nil 


HaveSpan: 
// 从 free 链表 移 除 。 
mSpanList_Remove(s) 


// 如 果 该 span 曾 被 释放 物理 内 存 ， 重 新 映射 补 回 ，.， 


// 如 果 该 span 页 数 多 于 预期 ... 

if s.npages > npage { 
// 创建 新 span 用 来 管理 多 余 的 内 存 。 
t := (*mspan) (fixAlloc Alloc(&h.spanalloc)) 
mSpan_Init(t, s.start+pageID(npage), s.npages-npage) 


// 调整 切割 后 的 页 数 。 
s.npages = npage 


// 将 新 建 span 放 回 heap。 
mHeap_FreeSpanLocked(h, t, false, false, s.unusedsince) 


// 在 spans 填充 全 部 指针 。 
pea :um (mstamby 
p -= (uintptr(unsafe.Pointer(h.arena_start)) >> _PageShift) 
for n := Uintptr(0); n < npage n++ { 
h_spans[p+n] = s 


Fedurmnns 


因为 freelarge 只 是 一 个 简单 链表 ， 没 有 页 数 做 索引 ， 也 不 曾 按 大 小 排序 ， 所 以 只 能 遍历 整 
个 链表 ， 然 后 选 出 最 小 ， 地 址 最 靠 前 的 块 。 


mheap.go 


func mHeap_AllocLarge(h *mheap, npage uintptr) x*mspan { 
return bestFit(&h.freelarge, npage, nil) 


func bestFit(list x*¥mspan, npage uintptr, best x*¥mspan) *mspan { 


tor oe. = Lotenextu eo l= lst 0 -enexe 
if s.npages < npage { 
continue 
Yr 
if best == nil || s.npages < best.npages || 


(s.npages == best.npages && s.start < best.start) { 
best = s 


} 


return best 


至 于 将 span 放 回 heap 的 mHeap_FreeSpanLocked 操作 ， 将 在 内 存 回 收 章 节 再 做 详 述 。 内 
存 分 配 阶段 ， 也 只 剩 如 何 向 操作 系统 申请 新 内 存 块 。 


mheap.go 


func mHeap_Grow(h *mheap, npage uintptr) bool { 
// 大 小 总 是 64KB 的 倍数 ， 最 少 1MB。 
npage = round(npage, (64<<10)/_PageSize) 
ask := npage’<<WpageShaift 
if ask < _HeapAllocChunk { 
ask = _HeapALLocChunk 


// 向 操作 系统 申请 内 存 。 
v := mHeap_SysAlloc(h, ask) 


// 创建 span 用 来 管理 刚 申 请 的 内 存 。 
s := (*mspan) (fixAlloc Alloc(&h.spanalloc)) 
mSpan_Init(s, pageID(uintptr(v)>>_PageShift), ask>>_PageShift) 





// 填充 在 spans 区 域 的 信息 。 

(oo [nol er ey 

p -= (uintptr(unsafe.Pointer(h.arena_start)) >> _PageShift) 
for i := p; i < p+s.npages; i++ { 


h_spans[i] = s 


// 放 到 heap 相关 链表 中 。 
mHeap_FreeSpanLocked(h, s, false, true, 0) 


pew aue 


依然 是 用 mmap 从 指定 位 置 申 请 内 存 。 最 重要 的 是 同步 扩张 bitmap 和 spans 区 域 ， 以 及 
调整 arena_used 这 个 位 置 指示 器 。 


malloc.go 


func mHeap_SysAlloc(h x*mheap, n uintptr) unsafe.Pointer { 
// 不 能 超出 arena 大 小 限制 。 
if n <= uintptr(h.arena_end)-uintptr(h.arena used) { 
// 从 指定 位 置 申请 内 存 。 
p := h.arena_used 
sysMap( (unsafe.Pointer)(p), n, h.arena_reserved, &memstats.heap_sys) 





// 同步 扩张 bitmap 和 spans 内 存 。 
mHeap_MapBits(h, p+n) 
mHeap_MapSpans (h, p+n) 


// 调整 下 一 次 申请 地 址 。 
hmemenanused ne ren 


return (unsafe.Pointer)(p) 


metm_linux.go 
func sysMap(v unsafe,Pointer，n uintptr, reserved bool, sysStat x*uint64) { 
if !reserved { 


p := mmap_fixed(v, n, _PROT_READ|_PROT_ WRITE, MAP_ANON|_MAP_PRIVATE, -1, 0) 
return 


p := mmap(v, n, _PROT_READ|_PROT_WRITE, MAP_ANON|_MAP_FIXED|_MAP_PRIVATE, -1, 0) 


至 此 ， 内 存 分 配 操作 流程 正式 结束 。 


4. 回收 
内 存 回收 的 源头 是 垃圾 清理 操作 。 


之 所 以 说 回收 而 非 释 放 ， 是 因为 整个 内 存 分 配器 的 核心 是 内 存 复 用 ， 不 再 使 用 的 内 存 会 被 
放 回 合适 位 置 ， 等 下 次 分 配 时 再 次 使 用 。 只 有 当空 闲 内存 资 源 过 多 时 ， 才 会 考虑 释放 。 


基于 效率 考虑 ， 回 收 操作 自然 不 会 直接 盯 着 单个 对 象 ， 而 是 以 span 为 基本 单位 。 通 过 比 
对 bitmap 里 的 扫描 标记 ， 逐 步 将 object 收 归 原 span， 最 终 上 交 central 或 heap 复 用 。 


清理 函数 sweepone 调用 mSpan_Sweep 来 引发 内 存 分 配器 回收 流程 。 


mgcsweep.go 


func sweepone() uintptr { 
if !mSpan_Sweep(s, false) { 


} 


func mSpan_Sweep(s *mspan, preserve bool) bool { 
var head, end gclinkptr 











// 为 span 空 亲 object 设置 标记 ， 无 需 再 次 扫描 。 
formmke omfiree lb Unkaot oO = nit lan nk tnextt 
heapBitsForAddr(uintptr(link)).setMarkedNonAtomic() 














// 遍历 span， 收 集 未 标记 的 不 可 达 object (不 包括 freelist， 它 们 已 被 标记 ) 。 
heapBitsSweepSpan(s.base(), size, n, func(p uintptr) { 
el == 
// 大 对 象 : 重 置 bitmap， 更 新 sweepgen。 
heapBitsForSpan(p).initSpan(s. layout()) 
atomicstore(&s,. sweepgen, sweepgen) 
treenmoHeap = "true 
} else { 
// 使 用 head、end 构建 链表 ， 收 集 不 可 达 object。 
nmeadn pen = 
head = gclinkptr(p) 
} else { 
end.ptr().next = gclinkptr(p) 




















上 
end = gclinkptr(p) 
end.ptr().next = gcLinkptr(0Oxobade5 ) 


// 收集 计数 。 


nf ree++ 


// 回收 内 存 。 
// 小 对 象 : 如 果 没 有 可 回收 object， 那 么 维持 原状 态 ， 根 本 无 需 处 理 。 
// 大 对 象 : 整个 span 就 是 一 个 object， 直 接 交 还 heap。 
if nfree > 0 { 
mCentral_FreeSpan(&mheap_.centrallcl] .mcentral, s, int32(nfree), head, end, ...) 
} else if freeToHeap { 
mHeap_Free(&mheap_, s, 1) 


遍历 span， 将 收集 到 的 不 可 达 object 合并 到 freelist 链表 。 如 该 span 已 收回 全 部 object， 
那么 就 将 这 块 完全 自由 的 内 存 还 给 heap ， 以 便 后 续 复 用 。 





mcentral.go 


func mCentral_FreeSpan(c *mcentral, s *mspan, n int32, start, end gclinkptr ...) bool { 
// 判断 span 是 否 为 空 (没有 空闲 object) 。 
wasempty := s.freelist.ptr() == nil 


// 将 收集 到 链表 合并 到 freelist。 
end.ptr().next = s.freelist 
se ireesl = Stant 
s.ref -= uint16(n) 


// 阻止 进一步 回收 。 

if preserve { 
atomicstore(&s.sweepgen, mheap_.sweepgen) 
beduenetalse 


// 将 原本 为 空 的 span 转移 到 central.nonempty 链表 。 
if wasempty { 
mSpanList_Remove(s) 
mSpanList_Insert(&c.nonempty, s) 


// 如 果 还 有 object 被 使 用 ， 那 么 终止 。 
0 
return false 


// 如 果 收 回 全 部 object， 就 从 central 交还 给 heap。 
mSpanList_Remove(s) 
heapBitsForSpan(s.base()).initSpan(s,. layout()) 
mHeap_Free(&mheap_, s, 0) 


Peturne rue 


无 论 是 向 操作 系统 申请 内 存 ， 还 是 清理 回收 内 存 ， 只 要 往 heap 里 放 span， 都 会 尝试 合并 
左右 相 邻 的 闲置 span ， 以 构成 更 大 的 自由 块 。 


mheap.go 


func mHeap_Free(h x*mheap, s x*mspan, acct int32) { 
systemstack(func() { 
mHeap_FreeSpanLocked(h, s, true, true, 0) 


ya) 


func mHeap_FreeSpanLocked(h x*mheap, s *mspan, acctinuse, acctidle bool, unusedsince int64) { 
// 从 现 有 链表 移 除 。 
mSpanList_Remove(s) 


// 计算 偏 移 量 。 
一 本 下 了 US 二 Sat 
p -= uintptr(unsafe.Pointer(h.arena_start)) >> _PageShift 


oo 
// 通过 spans 数组 访问 左 侧 相 邻 span。 
t := h_spans[p-1] 


// 检查 合并 条 件 。 

if t != nil && t.state != MSpanInUse && t.state != MSpanStack { 
// 合并 ， 更 新 属性 。 
smotare = bsstant 
s.npages += t.npages 


// 更 新 spans 里 的 信息 。 
p -= t.npages 
h_spans[p] = s 


// 释放 原 左 侧 span 对 象 。 
mSpanList_Remove(t) 
fixAlloc_Free(&h,.spanalloc, (unsafe.Pointer)(t)) 


// 检查 右 侧 span。 
if (p+s.npages)*ptrSize < h.spans_mapped { 
t := h_spans[p+s.npages] 
if t != nil && t.state != MSpanInUse && t.state != MSpanStack { 
// 合并 右 侧 span， 更 新 属性 。 
s.npages += t.npages 


// 更 新 spans 信息 。 
h_spans [p+s.npages-1] = s 


// 释放 原 右 侧 span 对 象 。 
mSpanList_Remove(t) 
fixAlloc_Free(&h,.spanalloc, (unsafe.Pointer)(t)) 


// 根据 页 数 插入 free/freelarge 链表 。 
if s.npages < uintptr(len(h.free)) { 
mSpanList_Insert(&h.free[ls.npages], s) 
} else { 
mSpanList_Insert(&h.freelarge, s) 


回收 操作 至 此 结束 。 这 些 被 收回 的 span 并 不 会 被 释放 ， 而 是 等 待 复 用 。 


J 、 
5. 释放 
在 运行 时 入 口 函数 main.main 里 ， 会 专门 启动 一 个 监控 任务 sysmon， 它 每 隔 一 段 时 间 就 会 


检查 heap 里 的 闲置 内 存 块 。 


btoc.go 


func sysmon() { 
scavengelimit := int64(5 * 60 * 1e9) 


om 
usleep(delay) 
if Lastscavenge+scavengeLimit/2 < now { 
mHeap_Scavenge(int32(nscavenge), uint64(now), uint64(scavengelimit)) 
lastscavenge = now 
Er 
上 





遍历 free、freelarge 里 的 所 有 span， 如 闲置 时 间 超 过 准 值 ， 则 释放 其 关联 的 物理 内 存 。 


mheap.go 


func mHeap_Scavenge(k int32, now, limit uint64) { 
h := Amheap_ 


// 遍历 free 数组 里 的 所 有 链表 。 


for i := 0; i < len(h,.free); i++ { 
sumreleased += scavengelist(&h,.free[i], now, limit) 


// 遍历 freelarge 链表 。 


sumreleased += scavengelist(&h,.freelarge, now, limit) 


func scavengelist(list x*mspan, now, limit uint64) uintptr { 
var sumreleased uintptr 


// 遍历 链表 。 

tor on = Ltnext ES 于 | 三 本 US 0 = nexe 
// 检查 闲置 时 间 是 否 超 出 限制 ， 而 且 内 存 没有 全 部 被 释放 过 。 
// 因为 存在 span 合并 的 情况 ， 所 以 有 局 部 释放 很 正常 。 

















if (now-uint64(s.unusedsince)) > limit && s.npreleased != s.npages { 
// 更 新 释放 计数 属性 。 
released := (s.npages - s.npreleased) << _PageShift 


sumreleased += released 
s.npreleased = s.npages 


// 释放 内 存 。 
sysUnused( (unsafe,.Pointer)(s.start<<_PageShift), s.npages<<_PageShift) 


上 


return sumreleased 


所 谓 物 理 内 存 释放 ， 另 有 玄 虚 。 


mem,_linux.go 


func sysUnused(v unsafe.Pointer, n uintptr) { 
madvise(v, n, _MADV_DONTNEED) 
i 


系统 调用 madvise 告知 操作 系统 某 段 内 存 暂 不 使 用 ， 建 议 内 核 收回 对 应 物理 内 存 。 当 然 ， 
这 只 是 一 个 建议 ， 是 否 回收 由 内 核 决定 。 如 物理 内 存 资源 充足 ， 该 建议 可 能 会 被 忽略 ， 以 
避免 无 谓 的 损耗 。 而 当 再 次 使 用 该 内 存 块 时 ,会 引发 缺 页 异常 ， 内 核 会 自动 重新 关联 物理 
内 存 页 。 


分 配 吏 面 对 的 是 虚拟 内 存 ， 所 以 在 地 址 空间 充足 的 情况 下 ， 根 本 无 需 放弃 这 段 虚拟 内 存 ， 
无 需 收回 mspan 等 管理 对 象 ， 这 也 是 arena 能 线性 扩张 的 根本 原因 。 


Microsoft Windows 并 不 支持 类 似 madvise 机 制 ， 须 在 获取 span 时 主动 补 上 被 VirtualFree 
掉 的 内 存 。 


mem_windows.go 


func sysUnused(v unsafe.Pointer, n uintptr) { 


r := stdcall3(_VirtualFree, uintptr(v), n, _MEM_DECOMMIT) 
he 


func sysUsed(v unsafe.Pointer, n uintptr) { 
r := stdcall4(_VirtualAlloc, uintptr(v), n, _MEM_ COMMIT, _PAGE_READWRITE) 
上 


mheap.go 


func mHeap_AllocSpanLocked(h *mheap, npage uintptr) #mspan { 


HaveSpan: 
// 如 果 被 释放 过 物理 内 存 ， 重 新 补 上 。 
if s.npreleased > 0 1 
sysUsed( (unsafe.Pointer)(s.start<<_PageShift), s.npages<<_PageShift) 
s.Nnpreleased = 0 


J 


下 Se 本 


多 数 Unix-Like 系统 都 支持 madvise， 所 以 它们 的 sysUsed 函数 大 多 什么 都 不 做 。 
除 周期 性 自动 处 理 外 ， 也 可 以 调用 runtime/debug.FreeOSMemory 函数 主动 释放 。 


6. 其 他 


从 运行 时 的 角度 ， 整 个 进程 内 的 对 象 可 分 为 两 类 。 其 一 ， 自 然 是 从 arena 区 域 分 配 的 用 户 
对 象 ; 另 一 种 ， 则 是 运行 时 自身 运行 和 管理 所 需 ， 比 如 管理 arena 内 存 片 段 的 mspan ， 提 
供 无 锁 分 配 的 mcache 等 等 。 


管理 对 象 的 生命 周期 并 不 像 用 户 对 象 那样 复杂 ， 且 类 型 和 长 度 都 相对 固定 ， 所 以 算法 策略 
显然 不 用 那么 复杂 。 还 有 ， 它 们 相对 较 长 的 生命 周期 也 不 适合 占用 arena 区 域 ， 会 导致 更 
多 碎片 化 。 为 此 ， 运 行 时 专门 设计 了 FixAlloc 固定 分 配器 来 为 管理 对 象 分 配 内 存 。 








固定 分 配 咒 使 用 相同 的 算法 框架 ， 只 相关 参数 不 同 。 


mfixalloc.go 


type fixalloc struct { 
size uintptr // 固定 分 配 长 度 。 
first unsafe.Pointer // 关联 函数 。 


arg unsafe.Pointer // 关联 函数 调用 参数 。 


list x*mlink // 复 用 链表 。 
chunk *byte // 内 存 块 指针 。 
nchunk uint32 // 内 存 块 长 度 。 
inuse uintptr // 内 存 块 已 用 长 度 。 


在 运行 时 在 初始 化 heap 时 ， 一 共 构 建 了 4 种 固定 分 配器 。 


mheap.go 


func mHeap_Init(h x*mheap, spans_size uintptr) { 


fixAlloc_Init(&h,.spanalloc, unsafe.Sizeof (mspan{}), recordspan, ...) 
fixAlloc_Init(&h,.cachealloc, unsafe.Sizeof(mcache{}), nil, nil, ...) 
fixAlloc_Init(&h,.specialfinalizeralloc, unsafe.Sizeof(specialfinalizer{}), nil, ...) 
fixAlloc Init(&h,.specialprofilealloc, unsafe.Sizeof(specialprofile{}), nil, ...) 

上 

mfixalloc.go 

func fixAlloc_Init(f x*fixalloc, size uintptr, first ..., arg unsafe.Pointer, stat x*uint64) { 
Sze SNZe 
f.first = *(*unsafe,.Pointer) (unsafe.Pointer(&first)) 
f.arg = arg 
f,list = nil 
tachunr = nl 
fanchunk =°0 
lnusen=°0 
ESstat = stact 





分 配 算法 优先 从 复 用 链表 获取 内 存 ， 只 在 获取 失败 ， 或 剩余 空间 不 足 时 才 获 取 新 内 存 块 。 


mfixalloc.go 


func fixAlloc Alloc(f x*fixalloc) unsafe.Pointer { 
// 尝试 从 可 用 链表 提取 。 
a le ls Tit At 
v := unsafe.Pointer(f.List) 
fot St NeXt 
f.inuse += f.size 
BeGwnnev 


// 如 果 剩 余 内 存 块 已 不 足 分 配 ， 则 获取 新 内 存 块 (16KB) 。 
fn pinenunk ile t 
f.chunk = (x*uint8)(persistentalloc(_FixAllocChunk, 0, f.stat)) 


f.nchunk = _FixAllocChunk 


// 获取 新 内 存 块 时 执行 关联 函数 (通常 用 作 初 始 化 和 拷贝 数据 ) 。 

v := (unsafe.Pointer)(f.chunk) 

a tn 
fn := x*(*func(unsafe.Pointer, unsafe,.Pointer)) (unsafe,.Pointer(&f,first)) 
fn(f.arg, v) 


// 更 新 属性 。 

f.chunk = (x*byte)(add(unsafe.Pointer(f.chunk), f.size)) 
f.nchunk -= uint32(f,.size) 

f.inuse += f.size 


Pekin 


回 定 分 配 右 持 有 的 这 个 16KB 内 存 块 分 自 persistent 区 域 。 该 区 域 在 很 多 地 方 为 运行 时 提 
供 后备 内 存 ， 目 的 同样 是 为 了 减少 并 发 锁 ， 减 少 内 存 申请 系统 调用 。 


malloc.go 


type persistentAlloc struct { 
base unsafe,Pointer 
Co tin el 


var globalAlloc struct { 
persistentAlloc 


func persistentalloc(size, align uintptr, sysStat xuint64) unsafe.Pointer { 
systemstack(func() { 
p = persistentallocl(size, align, sysStat) 
1)) 


return p 


func persistentallocl(size, align uintptr, sysStat x*uint64) unsafe.Pointer { 
eonsinl 
chunk = 256 << 10 
maxBlock = 64 << 10 // \M reservation granularity is 64K on windows 


// 直接 分 配 大 于 64KB 的 内 存 块 。 
if size >= maxBlock { 
return sysAlloc(size, sysStat) 


// 后 备 内 存 块 存放 位 置 (本 地 或 全 局 ) 。 
var persistent x*persistentAlloc 


2 i no 
persistent = Smp.p.ptr().paLLoc 
} else { 
persistent = &globalAlloc.persistentAlloc 


// 偏 移 位 置 对 齐 。 
persistent.off = round(persistent.off，aLign) 


// 如 果 后 备 块 空间 不 足 ， 则 重新 申请 。 

if persistent.off+size > chunk || persistent.base == nil { 
// 申请 新 256KB 后 备 内 存 。 
persistent.base = sysAlloc(chunk, &memstats,.other_sys) 
penmsastentaoni= 


// 截取 所 需 内 存 块 。 

p := add(persistent,.base, persistent.off) 
bersms bem onli rt Suze 

return p 


至 于 释放 过 程 ， 只 简单 地 放 回 复 用 链表 。 


mfixalloc.go 
func fixAlloc_Free(f x*fixalloc, p unsafe.Pointer) { 
f.inuse -= f.size 
(mm 


Ware = i 
tse SY 


recordspan 


四 个 FixAlloc， 只 有 mspan 指定 了 关联 函数 recordspan ， 其 作用 是 按 需 扩张 h_allspans 存 
储 空间 。h_allspans 保存 了 所 有 span 对 象 指针 ， 供 垃圾 回收 时 遍历 。 


内 存 分 配器 spans 区 域 虽 然 保 存 了 page/span 映射 关系 ， 但 有 很 多 重复 ， 基 于 效率 考虑 ， 并 不 适 
合用 来 作为 遍历 对 象 。 


mheap.go 


var h_allspans []*mspan 


func mHeap_Init(h #mheap，spans_size uintptr) { 
fixAlloc_Init(&h,.spanalloc, unsafe.Sizeof(mspan{}), recordspan, 


func recordspan(vh unsafe.Pointer, p unsafe.Pointer) { 
h := (kmheap)(vh) 
s := (kmspan)(p) 


// 如 果 空 间 已 满 。 
if len(h_allspans) >= cap(h_allspans) { 
// 计算 新 容量 。 
n := 64 * 1024 / ptrSize 
if n < cap(h_allspans)*3/2 { 
n = cap(h_allspans) * 3/2 


// 申请 新 内 存 空间 (直接 用 指针 写 slice 内 部 属性 ) 。 

var new []*mspan 

sp := (x*slice) (unsafe.Pointer(&new)) 

sp.array = sysAlloc(uintptr(n)x*ptrSize, &memstats.other_sys) 
sp.len = len(h_allspans) 

sp.cap = n 


// 如 果 原 空间 有 数据 ， 则 复制 后 释放 。 
if len(h_allspans) > 0 { 

// 拷贝 数据 。 

copy(new, h_allspans) 


// 释放 旧 内 存 块 。 

// 或 由 gcSweep -> gcCopySpans 释放 。 

if h.allspans != mheap_.gcspans { 
sysFree(unsafe.Pointer(h.allspans), ...) 


// 指向 新 空间 。 
h_allspans = new 
h.allspans = (**mspan) (unsafe.Pointer(sp.array)) 


上 

// 注意 : 

2 上 面 的 扩张 直接 用 mmap 在 arena 以 外 申请 空间 。 
Wh 而 append 引发 的 扩张 是 在 arena 区 域 。 

WN 基于 管理 目的 的 h_allspans 不 适合 用 arena 区 域 。 





h_allspans = append(h_allspans, s) 
h.nspan = uint32(len(h_allspans)) 


五 . 垃圾 回收 


垃圾 回收 器 一 直 是 被 诉 病 最 多 ， 也 是 整个 运行 时 中 改进 最 努力 的 部 分 。 所 有 变化 都 是 为 了 
缩短 STW 时 间 ， 提 高 程序 实时 性 。 





大 事 记 : 


。2014/06, 1.3: 并 发 清理 。 
。2015/08, 1.5: 三 色 并 发 标记 。 


注意 : 此 处 所 说 并 发 ， 是 指 垃圾 回收 和 用 户 逻 辑 并 发 执行 。 


1. 概述 
按 官方 说 法 ，Golang GC 的 基本 特征 是 非 分 代 、 非 紧缩 、 写 屏障 、 并 发 标记 清理 。 


Mgc.go 
The GC runs concurrently with mutator threads, is type accurate (aka precise), allows multiple 
GO tnread eon paraulet Le arconcurrenmmark andswveep tatuses a wteDarniern Ls 
non-generational and non-compacting. Allocation is done using size segregated per P allocation 


areas to minimize fragmentation while eliminating Locks in the common case. 


The algorithm decomposes into several steps. 


该 文件 头 部 有 GC 的 详细 说 明 ， 只 有 个 别 地 方 和 源码 有 些 出 入 ， 但 不 影响 对 算法 和 过 程 的 理解 。 





与 之 前 版 本 在 STW 状态 下 完成 标记 不 同 ， 并 发 标记 和 用 户 代 码 同 时 执行 让 一 切 都 处 于 不 
稳定 状态 。 用 户 代 码 随 时 可 能 修改 已 经 被 扫描 过 的 区 域 ， 在 标记 过 程 中 还 会 不 断 分 配 新 对 
象 ， 这 让 垃圾 回收 变 得 很 麻烦 。 


究竟 什么 时 候 局 动 垃圾 回收 ”过 早 会 严重 浪费 CPU 资源 ， 影 响 用 户 代码 执行 性 能 。 而 太 
晚 ， 会 导致 堆 内 存 恶性 膨胀 。 如 何 正确 平衡 这 些 问题 就 是 个 巨大 的 挑战 。 


所 有 问题 的 核心 : 抑制 堆 增长 ， 充 分 利用 CPU 资源 。 为 此 ， 引 入 一 系列 举措 : 


三 色 标 记 和 写 屏 障 
这 是 让 标记 和 用 户 代码 并 发 的 基本 保障 ， 基 本 原理 : 


。 起初 所 有 对 象 都 是 白色 。 

。 扫描 找 出 所 有 可 达 对 象 ， 标 记 为 灰色 ， 放 入 待 处 理 队 列 。 

。 从 队列 提取 灰色 对 象 ， 将 其 引用 对 象 标记 为 灰色 放 入 队列 ， 自 身 标记 为 黑色 。 
。 写 屏障 监视 对 象 内 存 修改 ， 重 新 标 色 或 放 回 队 列 。 


当 完 成 全 部 扫描 和 标记 工作 后 ， 剩 余 不 是 白色 就 是 黑色 ， 分 别 代表 要 待 回收 和 活跃 对 象 ， 
清理 操作 只 需 将 白色 对 象 内 存 收回 即 可 。 


控制 器 


控制 器 全 程 参与 并 发 回收 任务 ， 记 录 相 关 状 态 数据 ， 动 态 调整 运行 策略 ， 影 响 并 发 标记 单 
元 的 工作 模式 和 数量 ， 平 衡 CPU 资源 占用 。 当 回收 结束 时 ， 参 与 next_gc 回收 国 值 设置 ， 
调整 垃圾 回收 触发 频率 。 


mgc.go 


gcController implements the GC pacing controller that determines when to trigger concurrent 
garbage collection and how much marking work to do in mutator assists and background marking. 


It uses a feedback control algorithm to adjust the memstats.next_gc trigger based on the heap 


growth and GC CPU utilization each cycle. 


This algorithm optimizes for heap growth to match GOGC and for CPU utilization between assist 


and background marking to be 25% of GOMAXPROCS. 


The high-level design of this algorithm is documented at https://golang.org/s/gol5gcpacing. 


辅助 回收 


某 些 时 候 ， 对 象 分 配 速度 可 能 远 快 于 后 人 台 标 记 。 这 会 引发 一 系列 恶果 ， 比 如 堆 恶 性 扩张 ， 
甚至 让 垃圾 回收 永远 无 法 完成 。 





此 时 ， 让 用 户 代码 线程 参与 后 台 回 收 标记 就 非常 有 必要 。 在 为 对 象 分 配 堆 内 存 时 ， 通 过 相 
关 策略 去 执行 一 定 限 度 的 回收 操作 ， 平 衡 分 配 和 回收 操作 ， 让 进程 处 于 良性 状态 。 


2 7 
初始 化 过 程 非常 简单 ， 重 点 是 设置 gcpercent 和 next_gc 辣 值 。 


mgc.go 


RunceogcaniE er 
// 并 发 执行 器 。 
work.markfor = parforalloc(_MaxGcproc) 





/EOGE 
_ = setGCPercent(readgogc()) 


// 初始 启动 阔 值 (4MB) 。 


memstats.next_gc = heapminimum 


func readgogc() int32 { 
p := gogetenv("G0GC") 


DT 
return 100 
I 
FEED 二 
上 


return int32(atoi(p)) 


func setGCPercent(in int32) (out int32) { 
out = gcpercent 
Sf 
Tn = 
此 
gcperecemkee=Snn 
heapminimum = defaultHeapMinimum * uint64(gcpercent) / 100 
return out 


在 为 对 象 分 配 堆 内 存 后 ，mallocgc 函数 会 检查 垃圾 回收 触发 条 件 ， 并 依照 相关 状态 启动 或 
参与 辅助 回收 。 


malloc.go 


func mallocgc(size uintptr, typ * type, flags uint32) unsafe.Pointer { 


// 直接 分 配 黑色 对 象 。 
if gcphase == _GCmarktermination || gcBLackenPromptLy { 
Systemstack(func() { 
gcmarknewobject_m(uintptr(x), size) 





>) 





口 


// 检查 垃圾 回收 触发 条 件 。 

if shouldhelpgc && shouldtriggergc() { 
// 启动 并 发 垃圾 回收 。 
startGC(gcBackgroundMode, false) 

} else if gcBlackenEnabled != 0 1{ 
// 辅助 参与 回收 任务 。 
gcAssistAlloc(size, shouldhelpgc) 

} else if shouldhelpgc && bggc.working != 0 { 
// 让 出 资源 。 














口 











gp := getg() 

Tf = mrp moeks = OL Ipmmreemnptoni 
Gosched() 

上 


func shouldtriggergc() bool { 
return memstats.heap_Live >= memstats.next gc S& atomicloaduint(&bggc.working) == 


heap_live 是 活跃 对 象 总 量 ， 不 包括 那些 尚未 被 清理 的 白色 对 象 。 


垃圾 回收 默认 以 全 并 发 模式 运行 ， 但 可 用 环境 变量 或 参数 禁用 并 发 标记 和 并 发 清理 。GC 
goroutine 一 直 和 循环， 直到 符合 触发 条 件 时 被 唤醒 。 


mgc.go 


func startGC(mode int, forceTrigger booL) { 

// 判断 G0DEBUG 环境 变量 。 

// 1: 禁用 并 发 标记 。 

// 2: 禁用 并 发 标记 和 并 发 清理 。 

if debug.gcstoptheworld == 1 { 
mode = gcForceMode 

} else if debug.gcstoptheworld == 2 { 
mode = gcForceBlockMode 





// 同步 阻塞 模式 。 

if mode != gcBackgroundMode { 
gc(mode) 
return 


// 检查 触发 条 件 。 
if !(forceTrigger || shouldtriggergc()) { 
return 


上 





// 全 局 变量 bggc 保存 GC 状态 。 

// 创建 或 唤醒 GC goroutine。 

if !bggc.started { 
bggc.working = 1 
baggenmstanted = trvUe 
go backgroundgc() 

} else if bggc.working == 0 { 
bggc.working = 1 


// 唤醒 。 
ready(bggc.g，0) 


var bggc struct { 


9 *g // GC goroutine 
working uint  ”// 是 否 正 处 于 工作 状态 。 
started booL  // 是 否 已 创建 。 
} 
func backgroundgc() { 
bggc.g = getg() 
Pomee 
gc(gcBackgroundMode) 
bggc.working = 0 
// 休眠 ， 等 待 再 次 被 唤醒 。 
goparkunlock(&bggc. lock, "Concurrent GC wait", traceEvGoBlock, 1) 
1 


经 过 种 种 手段 的 优化 调整 ， 整 个 回收 周期 ，STW 被 缩短 到 有 限 的 几 个 片段 ， 这 让 程序 实时 
响应 有 了 很 大 改善 。 


新 GC 的 表现 虽说 不 上 惊艳 ， 但 让 人 相当 惊喜 。 它 代表 了 Golang 不 断 进 化 ， 以 及 开发 团队 追求 
更 好 的 精神 ， 这 让 我 们 对 其 前 景 更 为 看 好 。 不 过 ， 当 前 版 本 有 很 多 过 渡 痕 迹 ， 甚 至 代码 和 文档 有 
对 不 上 的 地 方 。 这 种 情形 曾 出 现在 1.3 里 ， 或 许 下 个 版 本 才 是 最 佳 选择 。 


是 否 完全 去 掉 STW? 是 否 能 优化 写 屏 障 的 性 能 问题 ”还 有 很 多 问题 尚 待 解 决 。 


并 发 模式 (Background Mode) 垃圾 回收 过 程 示意 图 : 


MARK 


准备 MarkWorker/P， 使 其 休眠 待命 。 


并 发 扫描 ， 将 灰色 对 象 放 入 队列 。 

对 白色 对 象 的 引用 修改 被 写 屏障 捕获 。 
Malloc 分 配 白 色 对 象 。 
MarkWorker 被 唤醒 ， 开 始 标记 任务 。 


等 待 第 一 轮 标记 结束 。 
第 一 轮 处 理 的 是 并 发 扫描 捕获 的 灰色 对 象 ， 不 包括 新 分 配 白色 对 象 。 


重新 扫描 DATA、BSS 区 域 。 
扫描 新 分 配 白色 对 象 。 


等 待 第 二 轮 标记 结 


STW 冻结 ， 完 成 最 终 标记 。 


并 发 清理 。 


STW: StopThewortLd 
WB: WriteBarrierEnabled 
BE: BlackenEnabled 


整个 过 程 被 封装 在 有 些 庞 大 的 gc 函数 里 。 


mgc.go 


func gc(mode int) { 
// 清理 掉 意 外 遗留 的 span。 
for gosweepone() 
sweep.nbgsweep++ 


// 创建 Markworker (休眠 状态 ) 。 
if mode == gcBackgroundMode { 
gcBgMarkStartWorkers() 


J ona af 


VSTW :ESTO 
systemstack(stopTheWor ldwithSema) 


// 确保 在 进入 扫描 状态 前 ， 环 境 清理 干净 。 
systemstack(finishsweep_m) 


// 处 理 sync.Pool。 
clearpools() 


// 重 置 全 局 状态 变量 work。 
gcResetMarkState() 


六 = OFF (SMESTOR) = 


// 并 发 标记 模式 。 

if mode == gcBackgroundMode { 
// 控制 器 。 
gcController.startCycle() 


systemstack(func() { 
// 启用 写 屏 障 。 
setGCPhase(_GCscan) 


// 初始 化 相关 状态 和 信号 。 
gcBgMarkPrepare() 


// 允许 黑色 对 象 标 记 。 
atomicstore(&gcBlackenEnabled, 1) 


STWR ESTART 
startThewWorldwithSema() 


AN TAR 


// 并 发 扫描 。 
gcscan_m() 


setGCPhase(_GCmark) 
Da) 


7 ARK 


// 等 待 MarkWorker 发 回 第 一 轮 任务 结束 信号。 
work.bgMark1.clear() 
work.bgMark1.wait() 


// 第 二 轮 扫描 ， 目 标 新 增 白色 对 象 和 剩余 区 段 。 
systemstack(func() { 
// DATA、BSS 保存 全 局 变量 。 
markroot(nil, _RootData) 
markroot (nil, _RootBss) 





gcBlackenPromptly = true 


forEachP(func(_p x*p) { 
_p_.gcw.dispose() 
}) 
}) 


// 等 待 MarkWorker 发 回 第 二 轮 任务 结束 信号 。 
work.bgMark2.clear() 
work.bgMark2.wait() 


STW STOP 
systemstack(stopTheWor ldwithSema) 


// 将 所 有 P.gcw 上 交 全 局 队列 。 
gcFlushGCwork() 


gcController.endCycle() 

} else { 
// 阻塞 模式 (mode != gcBackgroundMode) 
gcResetGState() 


AR KLE RTA ON SLS ODD 


// 禁用 黑色 标记 操作 (MarkWorker 停止 工作 ) 。 
atomicstore(&gcBlackenEnabled, 0) 
gcBlackenPromptly = false 
setGCPhase(_GCmarktermination) 


// 完成 最 终 标记 工作 。 
// 如 果 是 阻塞 模式 ， 因 为 没有 前 期 的 扫描 和 标记 操作 ， 那 么 此 处 完成 全 部 标记 。 
systemstack(func() { 


gcMark(startTime) 
车 


27 = FF (ST TOP) = 


systemstack(func() { 
7 sl 
setGCPhase(_GCoff) 


// 开启 清理 操作 (并 发 或 阻塞 ) 。 
gcSweep (mode) 
}) 


// 全 部 工作 完成 。 
// STW : START 
systemstack(startTheWorldWithSema) 


4. 标记 
并 发 标记 分 为 两 个 步骤 : 


1 扫描: 遍历 相关 内 存 区 域 ， 依 照 指针 标记 找 出 灰色 可 达 对 象 ， 加 入 队列 。 
2， 标 记 : 将 灰色 对 象 从 队列 取出 ， 将 其 引用 对 象 标 记 为 灰色 ， 上 自身 标记 黑色 。 


扫描 
扫描 函数 gcscan_m 启动 时 ， 用 户 代码 和 MarkWorker 都 在 运行 。 


mgcmatk.go 


func gcscan_m() { 
// 重 置 扫描 标志 ， 返 回 所 有 goroutine 数量 。 
local_allglen := gcResetGState() 




















// 并 发 执行 扫描 任务 ， 不 过 此 处 仅 使 用 当前 线程 执行 。 (避免 抢占 用 户 代 码 和 MarkWorker 资源 ? ) 

// 任务 单元 包括 所 有 Root 和 goroutine stack。 

useOneP := uint32(1) 

parforsetup(work.markfor, useOnePp, uint32(_RootCount+local_allglen), false, markroot) 
parfordo(work.markfor) 


eonst nd 
_RootData = 
_RootBss 三 
RooOtElnalrzerss 
_RootSpans 三 
_RootFlushCaches = 
_RootCount 


WOOP SOS 


func gcResetGState() (numgs int) { 

// 初始 化 所 有 goroutine 相关 标志 。 

// 这 些 标志 对 于 避免 重复 扫描 很 重要 。 

for _, gp := range allgs { 
gp.gcscandone = false // set to true in gcphasework 
psogcscanVvalmdEE= falseq estacknasmot beennseanned 
gpwgcalloce=°0 
gp.gcscanwork = 0 














1 
numgs = len(allgs) 
return 


parfor 是 一 个 并 行 任务 框架 〈 详 见 本 章 第 7 节 ) ， 其 功能 就 是 将 任务 平分 ， 让 多 个 线程 各 
领 一 份 并 发 执行 。 为 保证 整个 任务 组 能 尽快 完成 ， 它 允许 从 执行 较 慢 的 线程 偷 取 任务 。 


不 过 扫描 函数 仪 使 用 了 当前 线程 ， 并 未 启用 并 发 方式 执行 ， 似 乎 后 续 版 本 男 有 变化 。 扫 描 
目标 包括 多 个 ROOT 区 域 ， 还 有 全 部 goroutine 栈 。 


mgcmatk.go 


func markroot(desc x*parfor, i uint32) { 
var gcw gcWork 


Switch i { 
case _RootData: 


case _RootBss: 
case _RootFinalizers: 
case _RootSpans: 
case _RootFlushCaches: 
if gcphase != _GCscan { 
// 将 正在 被 cache 使 用 的 所 有 span 全 部 上 交 central。 


// 将 缓存 在 cache 的 stack 归还 给 所 属 span.freelist。 
flushallmcaches() 





dedhawu be 
// parfor 按 顺 序 为 每 个 任务 提供 一 个 Id， 所 以 访问 allgs 数组 时 需要 去 掉 Root。 
gp := allgs[i- RootCount] 


// 收缩 栈 空间 (此 时 不 能 执行 用 户 代码 ， 必 须 STW) 。 

if gcphase == _GCmarktermination { 
shrinkstack(gp) 

上 


// 调用 scanstack -> scanblock。 
// scanstack 会 设置 和 检查 gcscanvalid 标志 ， 避 免 重 复 扫 描 。 
scang(gp) 





// 将 当前 队列 上 交 给 全 局 队列 。 
gcw.dispose() 


所 有 这 些 扫描 过 程 ， 最 终 通过 scanblock 比 对 bitmap 区 域 信息 找 出 合法 指针 ， 将 其 目标 当 
做 灰色 可 达 对 象 添加 到 待 处 理 队列 。 


mgcmatk.go 


func scanblock(b0, n@ uintptr，ptrmask x*uint8, gcw x*¥gcWork) { 
// 遍历 。 
fo mn (OD 富 二 > 
bits := uint32(x*addb(ptrmask, i/(ptrSize*8))) 
// 没有 标记 ， 跳 过 。 
a oes := 
T= DE 
continue 


{Om 0 < 0 Cl < 
// 有 bitPointer 标记 。 
Tibetsd Li 0 


// 读 取 指针 内 容 ， 目 标 对 象 地址 。 


obj := *(*uintptr) (unsafe.Pointer(b + i)) 


// 确认 指针 合法 。 
if obj != 0 && arena_start <= obj && obj < arena used { 


if obj, hbits, span := heapBitsFor0bject(obj); obj 


// 标记 为 灰色 对 象 。 


greyobject(obj, b, i, hbits, span, gcw) 


1=°“004{ 


J] 
Dts >>=3 


I = Se 


// 将 尚未 标记 的 对 象 标记 为 灰色 ， 并 放 入 队列 。 
func greyobject(obj, base, off uintptr, hbits heapBits, span *mspan, gcw x*gcWork) { 
if hbits.isMarked() { 
return 


hbits. setMarked() 
gcw.put (obj) 


此 处 的 gceWork 是 专门 设计 的 高 性 能 队列 ， 它 允许 局 部 队列 和 全 局 队列 work.full/partial 协 
同 工 作 ， 平 衡 任务 分 配 〈 详 见 本 章 第 7 节 ) 。 


mgc.go 


var work struct { 
wilt uint64 


// lock-free List of full blocks workbuf 
empty uint64 


// lock-free list of empty blocks workbuf 


partial uint64 // lock-free list of partially filled blocks workbuf 


在 markroot 最 后 ， 所 有 扫描 到 的 灰色 对 象 都 被 提交 给 了 work.full 全 局 队列 。 


标记 


并 发 标记 由 多 个 MarkWorker goroutine 共同 完成 ， 它 们 在 回收 任务 开始 前 被 绑 定 到 P， 


后 进入 休眠 状态 ， 直 到 被 调度 右 唤 醒 。 


mgc.go 


func gcBgMarkStartwWorkers() { 
// 为 每 个 P 绑 定 一 个 Worker。 
om ondessaLle 
if p.gcBgMarkWorker == nil { 
go gcBgMarkWorker(p) 


// 暂停 ， 确 保 该 Worker 绑 定 到 P 后 再 继续 。 
notetsleepg(&work.bgMarkReady, -1) 


noteclear(é&work.bgMarkReady) 


调度 函数 schedule 从 控制 器 gcController 获取 MarkWorker goroutine 并 执行 。 


procl.go 


func schedule() { 
if gp == nil && gcBlackenEnabled != 0 .1 


gp = gcController,.findRunnableGCWorker(_g_.m.p.ptr()) 


} 


execute(gp, inheritTime) 


然 


控制 器 方法 findRunnableGCWorker 在 返回 当前 了 所 绑 定 的 MarkWorker 时 ， 会 依据 当前 





运行 状态 和 相关 策略 设置 工作 模式 ， 最 后 还 负责 将 其 唤醒 。 


MarkWorker 工作 模式 : 


。gcMarkWorkerDedicatedMode: 全 力 运 行 ， 直 到 并 发 标记 任务 结束 。 
。gcMarkWorkerFractionalMode: 参与 标记 任务 ， 但 可 被 抢占 和 调度 。 
。gcMatkWotrketIdleMode: 仅 在 空闲 时 参与 标记 任务 。 


在 了 解 基本 运作 流程 后 ， 我 们 去 看 看 标记 工作 的 具体 内 容 。 


mgc.go 


func gcBgMarkWorker(p *p) { 
// 将 当前 goroutine 绑 定 到 P。 


gp := getg() 
p.gcBgMarkWorker = gp 


// 唤醒 外 层 创 建 循环 。 
notewakeup(&work.bgMarkReady) 


for { 
// 休眠 ， 直 到 被 gcContoller.findRunnable 唤醒 。 
gopark(..., "mark worker (idle)", ..., 0) 





// 只 能 在 进入 黑 化 阶段 才能 运行 。 
if gcBlackenEnabled == 0 { 
throw("gcBgMarkWorker: blackening not enabled") 


上 
decnwait := xadd(&work.nwait, -1) 
done®:=> false 


// 工作 模式 。 

Switch p.gcMarkWworkerMode { 

case gcMarkWorkerDedicatedMode: 
// 全 力 工作 ， 直 到 全 部 任务 结束 。 
gcDrain(&p.gcw, gcBgCreditSlack) 


done = true 
if !p.gcw.empty() { 
throw("gcDrain returned with buffer") 
上 
case gcMarkWorkerFractionalMode, gcMarkWorkerIdleMode: 
// 在 抢占 或 无 法 获取 任务 时 退出 。 
gcDrainUntilPreempt(&p.gcw, gcBgCreditSlack) 


// 立即 上 交 剩 余 缓存 队列 。 
if gcBLackenPromptLy { 
p.gcw.dispose() 


incnwait := xadd(&work.nwait, +1) 
done = incnwait == work.nproc && work.full == 0 && work.partial == 


// 如 果 标 记 任务 全 部 完成 ， 则 发 送信 号 。 
if done { 
// 该 标志 在 接 获 bgMark1 后 才 被 设置 ， 确 保 bgMark2 在 bgMark1 之 后 发 送 。 
if gcBLackenPromptLy { 
if work.bgMark1.done == 0 { 
throw("completing mark 2, but bgMark1.done == 0") 
} 
work.bgMark2.complete() 
} else { 
work.bgMark1.complete() 


不 同 模式 的 MarkWorker 对 待 工作 态度 完全 不 同 。 


mgcmatk.go 


func gcDrain(gcw *gcWork, flushScanCredit int64) { 
home 
// 如 果 全 局 队列 已 空 ， 且 有 等 待 的 Worker， 那 么 分 出 一 部 分 任务 。 
if work.nwait > 0 S& work.full == 0 1 
gcw.balance() 


// 反复 尝试 从 本 地 或 全 局 队列 获取 任务 ， 直 到 所 有 Worker 完成 任务 。 
bo gewagewa() 
a on = 

break 


scanobject(b, gcw) 


func gcDrainUntilPreempt(gcw *gcWork, flushScanCredit int64) { 
gp := getg() 


// 检查 抢占 标志 。 
for !gp.preempt { 
// 只 要 全 局 队列 为 空 ， 就 立即 分 出 一 部 分 任务 ， 不 关心 是 否 有 Worker 进入 等 待 状态 。 
fworkeiu ue =="Or eS vorkapartial = O00 
gcw.balance() 





// 尝试 从 本 地 或 全 局 获取 任务 ， 失 败 则 放弃 。 不 关心 其 他 Worker 是 否 完成 任务 。 
b := gcw.tryGet() 
a 

break 


scanobject(b, gcw) 


处 理 灰 色 对 象 时 ， 无 需 知道 其 真实 大 小 ， 只 当做 内 存 分 配器 提供 的 object 块 即 可 。 按 指针 
类 型 长 度 对 齐 ， 配 合 bitmap 标记 进行 遍历 ， 就 可 找 出 所 有 引用 成 员 ， 将 其 作为 灰色 对 象 
压 入 队列 。 当 然 ， 当 前 对 象 自然 成 为 黑色 对 象 ， 从 队列 移 除 。 





mgcmatk.go 


func scanobject(b uintptr, gcw x*gcWork) { 
hbits := heapBitsForAddr(b) 
s := Span0fUnchecked(b) 
n := s.elemsize 


ion mal me (0 i a nr a ea on ol 
batso = hoteabrts( 


// 标记 位 检查 。 
if i >= 2#kptrSize && bits&bitMarked == 0 1{ 
break // no more pointers in this object 
} 
fstbitponmter .= 0 
Gomimue /not a poner 


// 读 取 指针 内 容 ， 成 员 所 引用 对 象 地 址 。 
obj := *(*uintptr) (unsafe.Pointer(b + i)) 


// 确认 指针 合法 。 
if obj != 0 && arena_start <= obj S& obj < arena used && obj-b >= n { 
// 将 引用 对 象 标记 为 灰色 。 
if obj, hbits, span := heapBitsForobject(obj); obj != 0 1{ 
greyobject(obj, b, i, hbits, span, gcw) 
上 


在 STW 局 动 后 ， 承 担 最 终 收 尾 工作 的 gcMark 有 点 特殊 。 如 果 并 发 标记 被 禁用 ， 那 么 它 就 
需要 完成 全 部 的 标记 任务 ， 回 退 到 1.4 的 阻塞 工作 模式 。 


mgc.go 


func gcMark(start time int64) { 
// 确保 所 有 任务 都 上 交 到 全 局 队列 。 
gcFlushGCWork() 








work.nproc = uint32(gcprocs()) 


// 并 发 执行 扫描 任务 (这 次 不 是 单个 线程 了 ) 。 

// 因为 已 经 STW， 所 以 这 次 需要 做 flushallmcaches、shrinkstack 操作 。 
parforsetup(work.markfor, work.nproc, uint32(_RootCount+allglen), false, markroot) 
Eworkanproc ST 


// 重 置 休眠 标志 。 
noteclear(&work.alldone) 


// parfor 并 发 执行 的 关键 。 
helpgc(int32(work.nproc)) 


// 当前 线程 一 起 参加 mark+drain 任务 。 
gcheLperstart () 
parfordo(work.markfor) 

var gcw gcWork 

gcDrain(&gcw, -1) 

gcw.dispose() 


// 休眠 ， 等 待 gcheLper 任务 结束 后 被 唤醒 。 
if work.nproc > 1 + 
notesleep(&work.alldone) 


// 释放 不 再 使 用 的 stack 缓存 对 象 。 
freeStackSpans() 


// 更 新 cache 状态 (被 markroot 处 理 过 ) 。 
cachestats() 


// 计算 下 次 回收 病 值 。 
memstats.next gc = ...(memstats.heap_reachable) * (1 + gcController.triggerRatio)) 





// 不 能 小 于 最 低 阅 值 4MB。 
if memstats.next_ gc < heapminimum { 
memstats.next_gc = heapminimum 


minNextGC := memstats.heap_Live + sweepMinHeapDistancex*uint64(gcpercent)/100 
if memstats.next_gc < minNextGC { 
memstats.next_gc = minNextGC 


因为 有 gcController 决策 算法 的 参与 ， 垃 圾 回收 闵 值 next_gc 变 得 更 加 灵活 。 


相 比 gcscan_m + MarkWorker，gcMark 显然 简单 得 多 ， 关 键 问题 就 是 gchelpet 如 何 执 行 。 


1. 函数 helpgc 唤醒 足够 数量 的 线程 M 用 于 执行 parfordo 任务 。 
2. 被 唤醒 M 检查 helpgc 标志 ， 执 行 gchelpet 函数 完成 mark + drain 任务 。 


有 关 M 执行 方式 ， 请 参考 本 书后 续 “ 并 发 调 度 》 相 关内 容 。 


procl.go 


func helpgc(nproc int32) { 
pos :=°"0 


// 从 1 开始 ， 因 为 当前 线程 (M) 也 参加 并 发 任务 。 
formn = mt32C rn nonroc nt t 

// 跳 过 当前 M 正在 使 用 的 P。 

if allp[lposl.mcache == _g_.m.mcache { 


pos++ 


上 


// 获取 并 设置 M 参数 。 

mp := mget() 

mp.heLpgc = n // 关键 。 
m 





.p.set(allp[pos]) 
mp.mcache = allp[lpos].mcache 


已 


pos++ 


// 唤醒 M 去 执行 任务 。 
notewakeup(&mp.park) 


procl.go 


func stopm() { 
ogetdg(y 


OEY 
mput(_g_.m) 


// 休眠 。 
notesleep(& g_.m.park) 
noteclear(& g_.m.park) 


// 被 唤醒 后 ， 检 查 helpgc 标志 。 
melpg ea Ot 
// 执行 gchelper 函数 。 
gchelper() 


mgc.go 


func gchelper() { 
_9g_ := getg() 
gchelperstart() 


// 执行 mark + drain 任务 。 
parfordo(work.markfor) 
if gcphase != _GCscan { 
var gcw gcWork 
gcDrain(&gcw, -1) // blocks in getfull 
gcw.dispose() 


nproc := Work.nproc 
// 如 果 全 部 任务 (注意 -1) 完成 ， 那 么 唤醒 GC 线程 。 


if xadd(&work.ndone, +1) == nproc-1 { 
notewakeup(&work.alldone) 


5. 清理 


与 复杂 的 标记 过 程 不 同 ， 清 理 操作 要 简单 得 多 。 此 时 ， 所 有 未 被 标记 的 白色 对 象 都 不 再 被 
引用 ， 可 简单 地 将 其 内 存 回 收 。 





mgc.go 


func gcSweep(mode int) { 
// 设置 work.spans = h_allspans。 
// 还 记得 FixAlloc 里 面 的 recordspan 么 ? 
gcCopySpans() 


// 更 新 代 龄 。 

mheap_. sweepgen += 2 
mheap_.sweepdone = 0 
sweep.spanidx = 0 


// 阻塞 模式 。 


if !_ConcurrentSweep || mode == gcForceBLockMode 1 
for sweepone() != ^uintptr(0) { 
sweep.npausesweep++ 
. 
return 


// 并 发 模式 。 

if sweep.parked { 
sweep.parked = false 
ready (sweep.g, 0) 


并 发 清理 同样 由 一 个 专门 的 goroutine 完成 ， 它 在 rantime.main 调用 gcenable 时 被 创建 。 


mgc.go 


func gcenable() { 
c := make(chan int, 1) 
go bgsweep(c) 
< 一 C 


memstats.enablegc = true // now that runtime is initialized, GC is okay 


并 发 清理 本 质 上 就 是 一 个 死 循环 ， 被 唤醒 后 开始 执行 清理 任务 。 通 过 遍历 所 有 span 对 象 ， 
触发 内 存 分 配 融 的 回收 操作 。 任 务 完成 后 ， 再 次 休眠 ， 等 待 下 次 任务 。 


IngcSweeb.go 
var sweep sweepdata 


// 并 发 清理 状态 。 

type sweepdata struct { 
9 *g 
parked bool 


func bgsweep(c chan int) { 
// 当前 goroutine。 
sweep.g = getg() 
sweepsparked="true 


// 让 gcenable 退出 。 
Ge 


// 休眠 ， 等 待 gcSweep 唤醒 。 
goparkunlock(&sweep. lock, "GC sweep wait", traceEvGoBlock, 1) 


Tom 
// 循环 清理 所 有 span。 
for gosweepone() != ^uintptr(0) { 
// 并 发 调度 ， 避 免 长 时 间 占 用 CPU。 
Gosched() 


if !gosweepdone() { 
continue 


// 清理 结束 ， 休 眠 直到 再 次 被 唤醒 。 
sweep.parked = true 
goparkunlock(&sweep. lock, "GC sweep wait", traceEvGoBlock, 1) 


func sweepone() uintptr { 


:=getg/) 
sg := mheap_.sweepgen 
Om 


// 从 @ 开始 的 work.spans (h_allspans) 索引 号 。 
idx := xadd(&sweep.spanidx, 1) - 1 


// 全 部 完成 。 

if idx >= uint32(len(work.spans)) { 
mheap_.sweepdone = 1 
return 人 ^intptr(0) 


s := work.spans[idx] 


// 跳 过 闲置 的 span， 直 接 更 新 代 龄 。 

if s.state != mSpanInUse { 
s.sweepgen = sg 
continue 


// 跳 过 已 经 或 者 正在 被 清理 的 span。 
if s.sweepgen != sg-2 || !cas(&s.sweepgen, sg-2, sg-1) { 
continue 


// 调用 内 存 分 配器 回收 方法 。 





npages := s.npages 

if !mSpan_Sweep(s, false) { 
npages = 0 

上 


return npages 


内 存 回收 操作 mSpan_Sweep， 请 参考 前 文 《 内 存 分 配 》 相 关 章 节 。 


尽管 有 控制 器 、 三 色 标 记 等 一 系列 措施 ， 但 垃圾 回收 器 依然 有 问题 需要 解决 。 








模拟 场景 : 服务 重启 ， 海 量 客户 端 重 新 接 入 ， 有 瞬间 分 配 大 量 对 象 ， 这 会 将 垃圾 回收 的 触发 
条 件 next_gc 推 到 一 个 很 大 值 。 而 当 服务 正常 后 ， 因 活跃 对 象 远 小 于 该 病 值 ， 造 成 垃圾 回 
收 久 久 无 法 触发 ， 服务 进程 内 就 会 有 大 量 白色 对 象 无 法 被 回收 ， 造 成 隐 性 内 存 泄露 。 同 样 
情形 也 可 能 是 因为 某 个 算法 在 短期 内 大 量 使 用 临时 对 象 造 成 的 。 


用 示例 来 模拟 一 下 : 


test.go 
package main 


import ( 
RE 人 
"runtime" 
"time" 


une est 
type M [1 << 10]byte 
data := make( []*¥M, 1024*20) 





// 申请 20MB 内 存 分 配 。 超 出 初始 阔 值 ， 将 next_gc 推 高 。 
ion = roangendatan 
data[il = new(M) 


// 解除 引用 ， 预 防 内 联 导 致 data 生命 周期 变 长 。 
for i := range data { 
datalmue .= ml 


func main() { 
test() 


Ja 
var ms runtime.MemStats 
runtime.ReadMemStats (&ms) 
fmt.Printf("%s %d MB\n", time.Now().Format("15:04:05"), ms.NextGC>>20) 


time.Sleep(time.Second * 30) 


sugoabuntae otadsae Le Omesutestdo 


FGODEBUG= getrace= /test 


ge aos 5 0 =6>0°MBs 4 MB goal 20P 
geno0NOlGSI 0 0 >00MB SMBegoal 2 
ge 33G08022s9 9% 3 14 =>14>143MB7 UB goat2P 


09:36:01 26 MB 

09:36:31 26 MB 

09:37:01 26 MB 

09:37:31 26 MB 

09:38:01 26 MB 

G@ioreed 

gc 4 @120.037s 0%: ..., 20->20->0 MB, 29 MB goal, 2P 

scvg0: inuse: 0, idle: 20, sys: 21, released: 0, consumed: 21 (MB) 
09:38:31 4 MB 

09:39:01 4 MB 


我 们 用 test 函数 来 模拟 短期 内 大 量 分 配对 象 行为 。 输 出 结果 表明 ,在 其 结束 后 的 相当 长 时 
间 内 都 没有 触发 垃圾 回收 。 直 到 forcegc 介入 ， 才 将 next_gc 恢复 正常 。 





这 就 是 垃圾 回收 器 最 后 的 一 道 保 险 措 施 。 监 控 服 务 sysmon 每 隔 2 分 钟 就 会 检查 一 次 垃圾 
回收 状态 ， 如 超出 2 分 钟 未 曾 触发 ， 那 就 强制 执行 。 


procl.go 
func sysmon() { 
// 如 果 超过 2 分 钟 未 曾 做 垃圾 回收 ， 那 么 强制 执行 。 


forcegcperiod := int64(2 * 60 * 1e9) 


TO 








// 最 后 一 次 回收 时 间 。 
lastgc := int64(atomicload64(&memstats,. last_gc)) 











if lastgc != 0 && unixnow-lastgc > forcegcperiod && 
atomicload(&forcegc.idle) != 0 && atomicloaduint(&bggc.working) == 0 { 


// 将 forcegc goroutine 放 到 待 运行 队列 。 
injectgList(forcegc.g) 


和 前 文 bgsweep goroutine 一 样 ，forcegc gotoutine 也 是 死 循环 、 休 卢 、 等 待 唤醒 模式 。 


btoc.go 
func init() { 


go forcegchelper() 


func forcegchelper() { 
forcegc.g = getg() 





fC 
atomicstore(&forcegc,. idle, 1) 
// 休眠 待 唤醒 。 
goparkunlock(&forcegc,. lock, "force gc (idle)", traceEvGoBlock, 1) 
// 参数 forceTrigger = true,， 让 gc 不 检查 next_gc 值 ， 直 接 执行 。 
startGC(gcBackgroundMode, true) 

上 


7. 其 他 


垃圾 回收 过 程 中 使 用 的 几 种 辅助 结构 。 


并 行 任务 框架 


parfor 关注 的 是 任务 分 配 和 调度 ， 自 身 不 具备 执行 能 力 。 它 将 多 个 任务 分 组 交 给 多 个 执行 
线程 ， 然 后 在 执行 过 程 中 重新 平衡 线程 的 任务 分 配 ， 确 保 整个 任务 在 最 短 时 间 内 完成 。 





设置 函数 parforsetup 用 相关 参数 初始 化 desc 状态 ， 并 完成 任务 分 组 。 


parfor.go 


func parforsetup(desc *parfor, nthr, n uint32, wait bool, body func(*parfor, uint32)) { 


desc.body = body // 任务 函数 。 
desc.nthr = nthr // 任务 线程 数量 。 
desemenee = en // 任务 数量 。 


// 任务 分 组 。 

for i := range desc.thr { 
begin := uint32(uint64(n) * uint64(i) / uint64(nthr)) 
end := uint32(uint64(n) x* uint64(i+1) / uint64(nthr)) 
desc.thr[i].pos = uint64(begin) | uint64(end)<<32 


最 后 的 循环 语句 将 n 个 任务 编号 平分 成 nthr 份 ， 并 将 开始 和 结束 位 置 保存 到 pos 的 高 低位 。 
以 10 任务 5 线程 为 例 ，thr[0] 分 到 的 任务 单元 就 是 [0, 2)。 


线程 须 主动 调用 parfordo 来 获取 任务 组 ， 执 行 body 任务 函数 。 


parfor.go 


func parfordo(desc x*parfor) { 
// 为 每 个 线程 分 配 一 个 唯一 序号 。 
tid := xadd(&desc.thrseq, 1) -1 


// 任务 遂 数 。 
body :="desée:body 





// 如 果 只 有 单个 线程 ， 直 接 按 序 执行 。 
ldeseanthkee. -SI 
Forman = Ont S20 <= dese ent el 
body(desc, i) 
} 


return 


// 用 线程 序号 提取 任务 组 。 
me := &Sdesc.thr[tid] 








mypos := &me.pos 
tom 
// 先 完成 自身 任务 。 
fo 
// 任务 进度 : 直接 累加 pos 低位 的 起 始 位 置 。 
pos := xadd64(mypos, 1) 
// 未 超出 任务 组 边界 ， 执 行 。 
begin := uint32(pos) - 1 
end := uint32(pos >> 32) 
if begin < end { 
body(desc, begin) 
continue 
上 
break 


// 提前 完成 工作 ， 尝 试 从 其 他 线程 偷 取 任 务 。 
dles: hoarse 
fom try Unt) nV 
// 如 多 次 行窃 未 果 ， 那 么 准备 打卡 下 班 。 
if try > desc.nthrx4 && !idle { 
idle = true 


xadd(&desc.done, 1) 


// 如 果 其 他 线程 都 已 完成 工作 ， 结 束 。 
extra := uint32(0) 


a ol ent 
extra= 1 

上 

if desc.done+extra == desc.nthr { 
IEE 

xadd(&desc.done, 1) 

} 
gokogEexa 

上 


// 随机 挑选 一 个 线程 。 
var begin, end uint32 
veetime fastrandt( deSesmt hl ee) 
a ve tm dt 
Victim++ 
victimpos := &desc.thr[victim].pos 
ho 
// 检查 目标 线程 的 当前 任务 进度 。 
pos := atomicload64(victimpos) 
begin = uint32(pos) 
ende= inte2(pos >> 232) 
if begin+1 >= end { 
end = 0 
begin = end 
break 


// 有 任务 可 偷 ， 要 忙 起 来 了 。 

if idLe { 
xadd(&desc.done, -1) 
idle = false 


// 将 剩余 任务 偷 一 半 (后 半截 ) 。 
begin2 := begin + (end-begin)/2 


// 记得 修改 原 主 的 任务 结束 值 。 
newpos := uint64(begin) | uint64(begin2)<<32 
if cas64(victimpos, pos, newpos) { 

begin = begin2 

break 


// 将 偷 来 的 任务 编号 保存 到 自己 pos 里 。 

if begin < end { 
atomicstore64(mypos, uint64(begin) |uint64(end)<<32) 
me.nsteal++ 
me.nstealcnt += uint64(end) - uint64(begin) 


// 跳出 偷窃 循环 ， 进 入 外 层 循环 重新 执行 自己 的 任务 (尽管 是 偷 来 的 ) 。 
break 


// 没 偷 到 任务 ， 就 暂停 或 退出 ... 


XI 


缓存 队列 
gcWork 被 设计 用 来 保存 灰色 对 象 ， 必 须 在 保证 并 发 安全 的 前 提 下 ， 拥 有 足够 高 的 性 能 。 


mgcwork.go 


type gcWork struct { 
wbuf wbufptr 


该 结构 的 真正 核心 是 workbuf，gcWork 不 过 是 外 层 包 次 。workbuf 作为 无 锁 栈 节点 ， 其 自 
身 就 是 一 个 缓存 容器 〈 数 组 成 员 ) 。 


mgcwork.go 


type workbufhdr struct { 
node lfnode 
nobyje nt 


type workbuf struct { 
workbufhdr 
obj [(_WorkbufSize - unsafe.Sizeof(workbufhdr{})) / ptrSize]uintptr 


透 过 gceWork 相关 方法 ， 我 们 可 以 观察 workbuf 是 如 何 工作 的 。 


mgc.go 


var work struct { 
wl uint64 Hlock hreentisteortmtulb tock se wonrkout 
empty uint64 // lock-free List of empty blocks workbuf 
partial uint64 // lock-free list of partially filled blocks workbuf 


mgcwork.go 


func (ww *¥gcWork) put(obj uintptr) { 
w := (*gcWork) (noescape(unsafe.Pointer (ww))) 


// 从 work.empty 获取 一 个 workbuf 复 用 。 
wbuf := w,wbuf.ptr() 
en 
wbuf = getpartialorempty(42) 
w.wbuf = wbufptrOf(wbuf) 


// 直接 将 obj 保存 在 workbuf.obj 数组 。 
wbuf.obj [wbuf.nobj] = obj 
wbuf.nobj++ 





// 如 果 数 组 填 满 ， 则 将 该 数组 移交 给 work. full。 
// 本 地 obj = nil， 下 次 put 时 获取 一 个 复 用 对 象 填充 。 
if wbuf.nobj == Len(wbuf.obj) { 

putfull(wbuf, 50) 

w.wbuf = 0 


func putfull(b x*workbuf, entry int) { 
lfstackpush(&work.full, &b.node) 
上 





这 种 做 法 有 点 像 内 存 分 配器 的 cache， 优 先 操 作 本 地 缓存 ， 直 到 满足 某 个 国 值 再 与 全 局 交 
换 。 如 此 ， 可 以 保证 性 能 ， 避 免 直 接 操 作 全 局 队列 。 另 一 方面 ， 从 全 局 获取 任务 时 ， 总 是 
能 一 次 性 拿 到 一 组 。 


就 算是 无 锁 数据 结构 ， 使 用 原子 操作 也 会 有 性 能 损耗 ， 尤 其 是 在 多 核 环 境 下 。 


这 段 代 码 ， 包 括 wotk 全 局 变量 有 很 多 C 的 影子 ， 看 上 去 有 些 别 所 ， 完 全 不 是 Golang 的 风格 。 
如 果 是 自动 代码 转换 ， 那 么 下 个 版 本 是 不 是 要 对 runtime 里 面 很 多 违 和 的 地 方 清理 一 下 。 


消费 完毕 的 workbuf 对 象 会 被 放 回 work.empty， 以 供 复 用 。 


mgcwork.go 


func (ww *¥gcWork) get() uintptr { 
w := (*gcWork) (noescape(unsafe.Pointer(ww))) 


// 从 work.full 获取 一 个 workbuf 对 象 。 
wbuf := w.wbuf.ptr() 
wn 

wbuf = getfull(103) 

wo = 

return 0 
上 
w.wbuf = wbufptrof(wbuf) 


// 直接 从 本 地 workbuf 提取 。 
wbuf.nobj=- 
obj := wbuf.obj[wbuf.nobj] 











// 本 地 workbuf 已 空 ， 将 其 放 回 work.empty 供 复 用 。 
a oh akol ol en 

putempty (wbuf, 115) 

w.wbuf = 0 














return obj 


func putempty(b #workbuf，entry int) { 
lfstackpush(&work.empty, &b.node) 


至 于 Free-Lock Stack 的 实现 也 很 简单 ， 利 用 CAS (Compare & Swap) 指令 来 实现 原子 替 
换 操 作 。 这 里 用 Node Pointet + Node.PushCount 实现 了 Double-CAS。 


lfstack.go 


func lfstackpush(head x*uint64, node *lfnode) { 
// 累加 计数 器 。 
node.pushcnt++ 


// 利用 pointer + pushcnt 获得 唯一 流水 号 。 
new := lfstackPack(node, node.pushcnt) 


// 逆向 展开 流水 号 ， 进 行 错 误 检 查 。 
if nodel, _ := lfstackUnpack(new); nodel != node { 
throw("lfstackpush") 


// 类 似 自 旋 ， 重 试 直到 成 功 。 

for { 
// 原子 读 取 原 head node 流水 号 。 (多 核 ) 
old := atomicload64(head) 


// 将 当前 node 作为 head。 
// 未 成 功 前 ， 这 个 操作 并 不 影响 原 stack。 


node.next = old 


// 利用 CAS 指令 蔡 换 原 head。 

// 如 替换 失败 ， 则 循环 重 试 。 

if cas64(head, old, new) { 
break 


} 


func lfstackpop(head x*uint64) unsafe.Pointer { 
ow 
// 原子 读 取 stack head。 
old := atomicload64(head) 
fond = Ot 
Bem 


// 展开 流水 号 ， 获 取 pointer。 
node， := lfstackUnpack(old) 





// 利用 CAS 指令 修改 stack head。 
next := atomicload64(&node.next) 
if cas64(head, old, next) { 

return unsafe.Pointer(node) 


如 果 CAS 指令 判断 的 仅 是 old 指针 地 址 ， 而 该 地 址 又 被 意外 重用 ， 那 就 会 造成 错误 结果 ， 这 就 
是 所 谓 ABA 问题 。 利 用 "指针 地 址 + 计数 器 " 生成 唯一 流水 号 ， 实 现 Double-CAS， 就 能 避 开 


lfstack_amd04.go 


func LfstackPack(node *lfnode, cnt uintptr) uint64 { 
return uint64(uintptr(unsafe.Pointer(node)))<<16 | uint64(cnt&(1<<19-1) ) 
上 


内 存 状态 统计 


除 用 GODEBUG="gctrace=1" 输出 垃圾 回收 状态 信息 外 ， 某 些 时 候 我 们 还 需要 自行 获取 内 
存 相关 统计 数据 。 


与 之 相关 的 数据 结构 ， 分 别 是 运行 时 内 部 使 用 的 mstats 和 面向 用 户 的 MemStats。 两 者 大 
部 分 结构 相同 ， 只 是 在 输出 结果 上 有 细微 调整 


mstats.go 


type mstats struct { 























alloc uint64 // 当前 分 配 的 object 内 存 ( 含 未 回收 的 白色 对 象 ) 。 
total_alloc uint64 // 历史 累计 分 配 内 存 (当前 正在 使 用 和 历次 回收 释放 ) 。 
sys uint64 // 当前 从 操作 系统 获取 的 内 存 (所 有 分 配 总 和 ， 不 包括 已 释放 ) 。 
nmalloc uint64 // 分 配 次 数 累 计 。 

nfree uint64 // 释放 次 数 累计 。 

heap_alloc uint64 WalnalLoG 

heap_sys uint64 // 从 操作 系统 获取 的 内 存 (不 包括 已 释放 ) 。 

heap_idle uint64 // 闲置 span 内 存 。 

heap_inuse uint64 // 正在 使 用 span 内 存 (从 heap 提取 , 包括 stack) 。 
heap_released uint64 // 当前 已 归还 操作 系统 的 内 存 。 

heap_objects uint64 // 正在 使 用 object 数量 (不 含 闲置 链表 ) 。 
stacks_inuse uint64 // 正在 使 用 stack 内 存 ( 含 stackpooL) 。 
mspan_inuse uint64 // 正在 使 用 mspan 内 存 。 

mcache_inuse uint64 // 正在 使 用 mcache 内 存 。 

next_gc uint64 // 下 次 垃圾 回收 阅 值 。 

last_gc uint64 // 上 次 垃圾 回收 结束 时 间 (UnixNano， 不 包括 并 发 清理 ) 。 
pause_total_ns uint64 // 累计 STW 暂停 时 间 。 

pause_ns [256]uint64 ”// 最 近 垃圾 回收 周期 里 STW 暂停 时 间 (循环 缓冲 区 ) 。 
pause_end [256]uint64  ”// 最 近 垃圾 回收 周期 里 STW 暂停 结束 时 间 (UnixNano) 。 
numgc uint32 // 垃圾 回收 次 数 。 

gc_cpu_fraction float64 // GC 所 耗 CPU 时 间 比 例 (fx*1060 %) 。 

heap_live uint64 // 自 上 次 回收 后 堆 使 用 内 存 (黑色 + 新 分 配 ， 不 包括 白色 对 象 ) 。 


object 特 指 cache 分 配 的 小 块 内 存 ， 以 及 large object， 而 非 实际 用 户 对 象 。 


用 户 通 过 runtime.ReadMemStats 困 数 来 获取 统计 数据 。 


mstats.go 


func ReadMemStats(m *MemStats) { 
stopTheWorld("read mem stats") 


systemstack(func() { 
readmemstats_m(m) 


a 


startTheworld() 


func readmemstats_m(stats x*¥MemStats) { 
updatememstats(nitL) 


// 前 部 分 数据 结构 相同 ， 直 接 拷贝 。 
memmove (unsafe.Pointer(stats), unsafe.Pointer(&memstats), sizeof _C MStats) 


// 将 栈 内 存 从 统计 数据 剔除 ， 仅 显示 用 户 远 辑 消耗 。 
stats.StackSys += stats.StackInuse 
stats.HeapInuse -= stats.StackInuse 
stats.HeapSys -= stats.StackInuse 


注意 : ReadMemStats 会 进行 STW 操作 ， 应 控制 调用 时 间 和 次 数 。 


监控 输出 示例 。 


heap_idle heap_released 
| | 
scvg0: inuse: 3, idle: 1, sys: 5, released: 0, consumed: 5 (MB) 
| | | 


heap_inuse heap_sys neapBsyse heaparneteased 


六 . 并 发 圭 度 
因为 Gotoutine ， 才 让 Golang 与 众 不 同 。 


你 所 看 到 的 和 产 出 的 一 切 都 在 以 并 发 方式 运行 ， 垃 圾 回收 、 系 统 监控 、 网 络 通讯 、 文 件 读 
写 ， 还 有 用 户 并 发 任务 等 等 ， 所 有 这 些 都 需要 一 个 高 效 且 聪明 的 调度 器 来 指挥 协调 。 


1. 概述 


内 置 运行 时 ， 在 进程 和 线程 的 基础 上 做 更 高 层次 的 抽象 是 现代 语言 最 流行 的 做 法 。 虽 然 算 
不 上 激进 ,但 Golang 也 设计 了 全 新 架构 模型 ， 将 一 切 都 基于 并 发 体系 之 上 ， 以 适应 多 核 
时 代 。 刻 意 模糊 线程 或 协 程 概念 ， 通 过 三 种 基本 对 象 相互 协作 ， 来 实现 在 用 户 空间 管理 和 
调度 并 发 任务 。 


基本 关系 示意 图 : 

Eb SEN oN 二 小 

| | 

| | 
十 一 一 一 十 十 一 一 一 十 一 一 一 一 一 一 一 十 十 一 一 一 一 一 一 一 一 + +- 一 -+ 一 一 一 十 
go func() ---> | G | ---> | P | local | <=== balance ===> | global | <--//--- |P |M| 
十 一 一 一 十 十 一 一 一 十 一 一 一 一 一 一 一 十 十 一 一 一 一 一 一 一 一 十 十 一 一 一 十 一 一 一 十 

| | | 

和 | 

t= | MD | ==. na ==="=== Se < 

十 一 一 一 十 


1. 语句 go func() 创建 G。 

2， 放 入 P 本 地 队列 (或 平衡 到 全 局 队列 ) 。 
+--— execute <--——— schedule 3， 唤醒 或 新 建 M 执行 任务 。 
| | 4， 进 入 调度 循环 schedule。 
| 5。 竭力 获取 待 执行 G 任务 并 执行 。 
ne ge 6， 清理 现场 ， 重 新 进入 调度 循环 。 

















首先 是 Processor 〈 简 称 P) ， 其 作用 类 似 CPU 核 ， 用 来 控制 可 同时 并 发 执行 的 任务 数量 。 
每 个 工作 线程 都 必须 绑 定 一 个 有 效 了 才 被 允许 执行 任务 ， 否 则 只 能 休眠 ， 直 到 有 空闲 P 时 
被 唤醒 。P 还 为 线程 提供 执行 资源 ， 比 如 对 象 分 配 内存 、 本 地 任务 队列 等 。 线 程 独 享 所 绑 
定 的 了 资源 ， 可 在 无 锁 状 态 下 执行 高 效 操作 。 








基本 上 ， 进 程 内 的 一 切 都 在 以 goroutine (简称 G) 方式 运行 ， 包 括 运 行 时 相关 服务 ， 以 及 
main.main 入 口 函数 。 需 要 指出 ，G 并 非 执行 体 ， 它 仅仅 保存 并 发 任务 状态 ， 为 任务 执行 
提供 所 需 栈 内 存 空间 。G 任务 创建 后 被 放置 在 P 本 地 队列 或 全 局 队列 ， 等 待 工作 线程 调度 
执行 。 





实际 执行 体 是 系统 线程 (简称 M) ， 它 和 了 绑 定 ， 以 调度 循环 方式 不 停 执 行 G 并 发 任务 。 
M 通过 修改 寄存 器 ， 将 执行 栈 指向 G 自 带 栈 内 存 ， 并 在 此 空间 内 分 配 堆 栈 帧 ， 执 行 任 务 
函数 。 当 需要 中 途 切 换 时 ， 只 要 将 相关 寄存 器 值 保 存 回 G 空间 即 可 维持 状态 ,任何 M 都 
可 据 此 恢复 执行 。 线 程 仅 负责 执行 ， 不 再 持 有 状态 ， 这 是 并 发 任务 跨 线程 调度 ， 实 现 多 路 
复 用 的 根本 所 在 。 





尽管 P/M 构成 执行 组 合体 ， 但 两 者 数量 并 非 一 一 对 应 。 通 常情 况 下 ，P 数量 相对 恒定 ， 默 
认 与 CPU 核 数量 相同 ， 但 也 可 能 更 多 或 更 少 ， 而 M 则 是 调度 器 按 需 创建 。 举 例 来 说 ， 当 
M 因 陷 入 系统 调用 而 长 时 间 阻 塞 时 ，P 就 会 被 监控 线程 抢 回 ， 去 新 建 〈 或 唤醒 ) 一 个 M 执 
行 其 他 任务 ， 如 此 M 的 数量 就 会 增长 。 





因为 G 初始 栈 仅 有 2KB， 且 创建 操作 只 是 在 用 户 空间 简单 的 对 象 分 配 ， 远 比 进入 内 核 态 
分 配 线程 要 简单 得 多 。 调 度 句 让 多 个 M 进入 调度 循环 ， 不 停 获 取 并 执行 任务 ， 所 以 我 们 
才能 创建 成 千 上 万 个 并 发 任务 。 


2. 初始 化 


调度 器 初始 化 函数 schedinit 在 前 文 已 多 次 提 及 ， 除 去 内 存 分 配 、 垃 圾 回收 等 操作 外 ， 针 对 
自身 的 初始 化 无 非 是 MaxMcount、GOMAXPROCS。 


procl.go 
func schedinit() { 


// 设置 最 大 M 数量 。 
sched.maxmcount = 10000 

















// 初始 化 栈 空间 复 用 管理 链表 。 
stackinit() 








// 初始 化 当前 M。 


mcommoninit(_g_.m) 


// 默认 值 总 算 从 1 调整 为 CPU Core 数量 了 。 


procs .memenu 
if n := atoi(gogetenv("GOMAXPROCS")); n > 0 { 
if n > MaxGomaxprocs { 
n = _MaxGomaxprocs 
yr 
DioCse = en 


// 调整 P 数量 。 
// 注意 : 此 刻 所 有 P 都 是 新 建 ， 所 以 不 可 能 返回 有 本 地 任务 的 P。 
if procresize(int32(procs)) != nil { 








throw("unknown runnable goroutine during bootstrap") 


GOMAXPROCS 默认 值 总 算 从 1 改 为 CPU Cores 了 。 


因为 了 的 数量 有 最 大 限制 ， 所 以 用 一 个 足够 大 的 数组 存储 才 是 最 正常 的 做 法 。 虽 然 浪 费 
空间 ,但 省 去 很 多 内 存 增 减 的 麻烦 。 
runtime2.g0 


var allp [_MaxGomaxprocs + 1]*p 


type schedt struct { 


pidle puintptr ”// 空 闪 PP 链表 。 
npidle uint32 // 空闲 P 数量 。 





调整 P 数量 并 不 意味 着 全 部 分 配 新 对 象 ， 仅 仅 做 去 余 补 缺 。 


procl.go 


func procresize(nprocs int32) x*p { 


old := gomaxprocs 

// 新 增 。 

fo 三 hiESZ(O no ef 
oo 3= eo 


// 申请 新 P 对 象 。 
i == 
pp = new(p) 
ppeidl = 
pp.status = _Pgcstop 


// 保存 到 allp。 


atomicstorep(unsafe.Pointer(&allp[i]), unsafe.Pointer(pp)) 


WP 分 本 CCcachne Xj 
if pp.mcache == nil { 
a oliol =e (Se i = at 
// bootstrap 
pp.mcache = getg().m.mcache 
} else { 
// 创建 cache。 
pp.mcache = aLLocmcache() 


点 


4 


// 释放 多 余 的 P。 
hom mono 1 < Sold rt 
pe a 


// 将 本 地 任务 转移 到 全 局 队列 。 
for p.runqhead != p.runqtail { 


oan 
gp := p.runq[p.runqtail%uint32(len(p.runqg))] 
globrunqputhead(gp) 

上 

unnexe od 
globrunqputhead(p.runnext.ptr()) 
p.runnext = 0 

上 


// 释放 当前 P 绑 定 的 cache。 
freemcache(p.mcache) 
pameache nal 


// 将 当前 P 的 6G 复 用 链 转 移 到 全 局 。 
gfpurge(p) 


// 似乎 就 去 那 不 管 了 ， 反 正 也 没 剩 下 哈 。 
pstatus = _Pdead 
can tireenb eseGumbecausen cannbeneierenced an nesea 


_g9_ := getg() 


// 如 果 当 前 正在 用 的 P 属于 被 释放 的 那 氢 ， 那 就 换 成 aLLp [0] 。 
// 调度 器 初始 化 阶段 ， 根 本 没有 P， 那 就 绑 定 aLLp [0] 。 
a el ee So oo el eo es oer A 

// 继续 使 用 当前 P。 

gem opt (tau uunnamd 
} else { 

// 释放 当前 P， 因 为 它 已 经 失效 。 

3 mep = 0 

SoBema bame = 

yr 

_g_ ,mp=0 

omamameacnes nl 


// 换 成 aLLp [0] 。 

pe = eal 
pm=0 
pEStatUsEE PTIJUULE 
acquirep(p) 


// 将 没有 本 地 任务 的 P 放 到 空闲 链表 。 


var runnabLePs *p 
for = norocs 1 = 0 O14 
po ul 


// 确保 不 是 当前 正在 用 的 P。 
me (== 
continue 


} 


pestatus = pidile 

if runqempty(p) { 
// 放 入 空闲 链表 。 
pidleput(p) 

} else { 
// 有 本 地 任务 ， 构 建 链表 。 
p.m.set(mget()) 
p.Link.set(runnabLePs ) 
punmablePps = 





// 返回 有 本 地 任务 的 P (链表 ) 。 
return runnabLePs 











// 将 P 放 入 空闲 链表 。 
func pidleput(_p_ *p) { 
站 PS = sceneda ple 
sched.pidle.set(_p_) 


xadd(&sched.npidle, 1) 


默认 只 有 schedinit 和 startTheWorld 会 调用 procresize 函数 。 在 调度 器 初始 化 阶段 ， 所 有 
P 对 象 都 是 新 建 。 除 分 配给 当前 主线 程 的 外 ， 其 他 都 被 放 入 空闲 链表 。 而 startTheWorld 
会 激活 全 部 有 本 地 任务 的 P 对 象 〈 详 见 后 文 ) 。 


在 完成 调度 器 初始 化 后 ， 引 导 过 程 才 创 建 并 运行 main goroutine。 


asm_amd04.s 


TEXT runtime'rto_go(SB),NOSPLIT,$0 
// save m->g0 = g0 
MOVQ CX, m_g0(AX) 
// save m0 to g0->m 
MOVQ AX, g_m(CX) 


GALRE runtime:schedinit(SB) 


// 创建 main goroutine， 并 将 其 放 入 当前 P 本 地 队列 。 
MOVQ $runtime:mainPpC(SB), AX 


PUSHQ AX 


PUSHQ $0 
人 A 国 上 runtime'newproc(SB) 
POPQ AX 
POPQ AX 


// 让 当前 M@ 进入 调度 ,执行 main goroutine。 
GAINE runtime:mstart(SB) 


// MQ 永远 不 会 执行 这 条 月 演 测 试 指令 。 
MOVL $0xf1, Oxf1l // crash 
RET 


虽然 可 在 运行 期 用 runtime.GOMAXPROCS 也 数 修改 P 数量 ,但 需 付出 极 大 代价 。 


debug.go 


func GOMAXPROCS(n int) int { 
if n > MaxGomaxprocs { 
n = _MaxGomaxprocs 





// 返回 当前 值 (这 个 才 是 最 常用 的 做 法 ) 。 
ret := int(gomaxprocs) 
n=200l ne == ee 

return ret 











/1 STW el 
stopTheWorld("GOMAXPROCS") 


newprocs = int32(n) 


// 调用 procresize， 并 激活 有 任务 的 P。 
startThewortLd() 


Deuwunnnmnee 


0 


我 们 已 经 知道 编译 器 会 将 go func(…) 语句 翻译 成 newproc 调用 ， 但 这 中 间 究 竟 有 什么 不 
为 人 知 的 秘密 ? 





test.go 


package main 


import () 


imGEaddixEYEETII HI 
2 Xt 


IE 由 天 芭 


func main() { 
X=°0x100 
y := 0x200 


osadudl sy 


尽管 这 个 示例 有 些 简 陋 ， 但 这 不 重要 ， 重 点 是 编译 器 要 做 什么 。 





Fgor dul otkestetesedo 


$ go tool objdump -s "main\.main" test 


TEXT main.main(SB) test.go 


test 
test 
test 


Si 
Ges 


1S 
LE SR 


eS 
eS 
ES 
ES 


从 反 汇 编 代 码 可 以 看 出 ，Golang 采用 了 类 似 C/cdecl 调用 约定 。 由 调用 方 负 
间 ， 并 从 右 往 左 入 栈 。 


procl.go 


OOF 
OOF 
ROR 
go: 
go: 
SOE 
SOF 
oo 
go: 
go: 
go: 


10 
11 
12 
13 
13 
13 
13 
13 
13 
14 
14 


SUBQ 
MOVQ 
MOVQ 
MOVQ 
MOVQ 
MOVL 
LEAQ 
MOVQ 
CALL 
ADDQ 
REW 


$0x28, SP 
$0x100, CX 

$0x200, AX 

CX, Q@x10(SP) 

AX, 0x18(SP) 

$0x18, 0(SP) 
Qx879ff (IP), AX 

AX, Qx8(SP) 
runtime.newproc(SB) 
$0x28, SP 


func newproc(siz int32, fn x*funcval) { 
// 获取 第 一 参数 地 址 。 
add(unsafe.Pointer(&fn), ptrSize) 


argp : 


// 获取 调用 方 PC/IP 寄存 器 值 。 
pc := getcallerpc(unsafe.Pointer(&siz)) 


// 用 g@ 栈 创 建 6/goroutine 对 象 。 
Systemstack(func() { 
newprocl(fn, (x*uint8)(argp), siz, 0, pc) 


LY 
2 
// 
A 
0 


将 图 数 add 地 址 存 入 AX 寄存 器 。 
地 址 入 栈 。 


人 人 


提供 





目标 函数 newproc 只 有 两 个 参数 ， 但 main 却 向 栈 压 入 了 四 个 值 。 按 照 顺序 ， 后 三 个 值 应 
该 会 被 合并 成 funcval。 还 有 ，add 返回 值 被 忽略 。 


runtime2.g0o 


type funcval struct { 
fn uintptr 
Wvearnianle suzerin Specnmieedalannene 


果然 是 变 长 结构 类 型 (目标 函数 参数 不 定 ) ， 此 处 其 补 全 状态 应 该 是 : 


type struct { 
fn uintptr 
> 


如 此 一 来 ， 关 于 “go 语句 会 复制 参数 值 ”的 规则 就 很 好 理解 了 。 站 在 newproc 角度 ， 我 们 
可 以 面 出 执行 栈 的 状态 示意 图 。 


lower SP 卫 
| | 
人 he newvpnoecnrane 
lpe/ip | 
十 一 一 一 一 一 一 一 一 一 一 一 一 十 
。 |Silz | 
address j= 一 一 一 一 一 一 一 一 一 一 一 ER 
| add | | 
= 一 = 二 = 一 二 = 一 一 一 一 + | 
|x | > 
和 == 一 一 一 一 一 一 一 一 一 一 + | 
I | | 
higher Eee| J 


用 “fn + ptrsize” 跳 过 add 获得 第 一 个 参数 x 的 地 址 ，getcallerpc 用 “siz - 8” 读 取 CALL 指 
令 压 入 的 main PC/IP 寄存 器 值 ， 这 就 是 newproc 为 newproc1 准备 的 相关 参数 值 。 


asm_amd04.s 


TEXT runtime'getcaLLerpc(SB) ,NOSPLIT,$8-16 
MOVQ argp+0 (FP),AX // addr of first arg 


MOVQ —8(AX),AX // get calling pc 
CMPQ AX，runtime'stackBarrierPC(SB) 
JNE nobar 


AI runtime'nextBarrierPC(SB) EeeEorndgina en 二 已 GE 
MOVQ ”60(SP)，AX 
nobar: 
MOVQ AX, ret+8(FP) 
RET 


至 此 ， 我 们 大 概 知道 go 语句 编译 后 的 真实 模样 。 接 下 来 ， 就 转 到 newproc1 看 看 如 何 创建 
并 发 任务 单元 G。 


runtime2.g0 


tyengr oe 


stack stack // 执行 栈 
sched gobuf // 用 于 保存 执行 现场 。 
goid int64 // 唯一 序号 。 


gopc uintptr // 调用 者 PC/IP。 
startpc uintptr // 任务 函数 。 


procl.go 


func newproc1(fn x*funcval, argp x*uint8, narg int32, nret int32, callerpc uintptr) x*g { 
_9g_ := getg() 


// “参数 + 返回 值 ”所 需 空间 (对 齐 ) 。 
Sz: nalge re nmer 
SZ (OLZ /RS 





// 从 当前 P 复 用 链表 获取 空闲 G 对 象 。 
Dt 
newg := gfget(_p_) 
// 获取 失败 ， 新 建 。 
J Ye = Mb 
newg = malg(_StackMin) 
casgstatus(newg, _Gidle, _Gdead) 
allgadd (newg) 


// 测试 G stack。 
if newg.stack.hi == 0 { 
throw("newprocl: newg missing stack") 


// 测试 G status。 
if readgstatus(newg) != _Gdead { 


throw("newproc1: new g is not Gdead") 


// 计算 所 需 空间 大 小 ， 并 对 齐 。 
totalSize := 4*regSize + uintptr(siz) 
totalSize += -totalSize & (spAlign - 1) 


// 确定 SP 和 参数 入 栈 位 置 。 
sp := newg.stack.hi - totalSize 
spArg := sp 


// 将 执行 参数 拷贝 入 栈 。 
memmove (unsafe,.Pointer(spArg), unsafe.Pointer(argp), uintptr(narg)) 


// 初始 化 用 于 保存 执行 现场 的 区 域 。 
memclr(unsafe.Pointer(&newg.sched), unsafe.Sizeof(newg.sched)) 
newg.sched.sp = sp 

newg.sched.pc = funcPC(goexit) + _PCQuantum 

newg.sched.g = guintptr(unsafe.Pointer(newg)) 
gostartcallfn(&newg.sched, fn) 


// 初始 化 基本 状态 。 

newg.gopc = callerpc 

newg.startpc = fn.fn 

casgstatus (newg, _Gdead, _Grunnable) 


// 设置 唯一 id。 

if _p_.goidcache == _p_.goidcacheend { 
// sched.goidgen 是 一 个 全 局 计数 器 。 
// 每 次 取 回 一 段 有 效 区 间 ， 然 后 在 该 区 间 分 配 ， 避 免 频繁 去 全 局 操作 。 
// [sched.goidgen+1, sched.goidgen+GoidCacheBatch] 
_p_.goidcache = xadd64(&sched.goidgen, _GoidCacheBatch) 
agondeache -GondeacheBaten 二 | 
longoldeachneend = plsgoldeache GondeacneBaten 

} 

newg.goid = int64(_p_.goidcache) 

_p_.goidcache++ 


// 将 G 放 入 待 运行 队列 。 
runqput(_p_, newg, true) 


// 如 果 有 其 他 空闲 P， 则 尝试 唤醒 某 个 M 出 来 执行 任务 。 

// 如 果 有 M 处 于 自 旋 等 待 P 或 6 状态， 放弃。 

// 如 果 当 前 创建 的 是 main goroutine (runtime.main)， 那 么 还 没有 其 他 任务 需要 执行 ， 放 弃 。 
if atomicload(&sched.npidle) != 0 && 


atomicload(&sched.nmspinning) == 0 && 
unsafe.Pointer(fn.fn) != unsafe.Pointer(funcPC(main)) { 
wakep() 


return newg 


整个 创建 过 程 中 ， 有 一 系列 问题 需要 分 开 详 说 。 


首先 ，G 对 象 黑 认 会 复 用 ， 这 看 上 去 有 点 像 cache/object 做 法 。 除 了 本 地 的 复 用 链表 外 ， 
还 有 全 局 链表 在 多 个 了 之 间 共 享 。 


funtime2.go 


type p struct { 
cifees *g 
gmreecnene 


type schedt struct { 
gneekdy 
Doreennits 


procl.go 


func gfget(_p 
EeeyE 
// 从 P 本 地 队列 提取 复 用 对 象 。 
je 


2 0) 0] af 


// 如 果 提 取 失 败 ， 尝 试 从 全 局 链表 转移 一 批 到 P 本 地 。 
Tf = na a scnedsgrftree nl nmet 
// 最 多 转移 32 个 。 
for _p_.gfreecnt < 32 && sched.gfree != nil { 
oes 
gp = schedsgqfree 
sched.gfree = gp.schedlink.ptr() 
sched.ngfree—— 
gp.schedlink.set(_p_.gfree) 
pgiree = gp 


// 再 试 。 
goto retry 


// 如 果 成 功 获取 复 用 对 象 。 

el i 
// 调整 P 复 用 链表 。 
_p_.gfree = gp.schedlink.ptr() 
Neem 


// 检查 G stack。 
TotacK uo 0R 
// 分 配 新 栈 。 


systemstack(func() { 

gp.stack, gp.stkbar = stackalloc(_FixedStack) 
}) 
gp.stackguard0 = gp.stack.lo + _StackGuard 
gp.stackAlloc = _FixedStack 


} else { 
上 
return gp 


而 当 goroutine 执行 完毕 ， 调 度 右 相关 函数 会 将 G 对 象 放 回 P 复 用 链表 。 


procl.go 


FumenanD (nator oD ol 

// 如 果 栈 发 生 过 扩张 ， 则 释放 。 

stksize := gp.stackAlloc 

if stksize != FixedStack { 
/nonmstandande stackesuze reemnes 
stackfree(gp.stack, gp.stackAlloc) 
gp.stack.lo = 0 
gpestack=ha=°"0 
gp.stackguard0 = 0 
gp.stkbar = nil 
gp.stkbarPos = 0 


WaResets Eacke lnmLiens 
gp.stkbar = gp.stkbar[:0] 
gp.stkbarPos = 0 





口 





// 放 回 P 本 地 复 用 链表 。 
gp.schedlink.set(_p_.gfree) 
_p_.gfree = gp 

lo oh a 








// 如 果 本 地 复 用 对 象 过 多 ， 则 转移 一 批 到 全 局 链表 。 
TENEeEcInE >=640 
7 Ds Se 
fom apadfneecne >=— 32 
en 
gp DEFee 
_p_.gfree = gp.schedlink.ptr() 
gp.schedlink.set(sched.gfree) 
sched.gfree = gp 
sched.ngfreet++ 


最 初 ，G 对 象 都 是 由 malg 创建 。 


Stack2.go 


_StackMin = 2048 


procl.go 


func malg(stacksize int32) x*g { 

newg := new(g) 

if stacksize >= 0 { 
stacksize = round2(_StackSystem + stacksize) 
systemstack(func() { 

newg.stack, newg.stkbar = stackalloc(uint32(stacksize)) 

by 
newg.stackguard0 = newg.stack.lo + _StackGuard 
newg.stackguard1 = ^uintptr(0) 
newg.stackAlloc = uintptr(stacksize) 

上 


return newg 


默认 采用 2KB 栈 空间 ， 并 且 都 被 allg 引用 。 这 是 垃圾 回收 遍历 扫描 需要 ， 以 便 获 取 指 针 
引用 ， 收 缩 栈 空 间 。 


procl.go 
var ( 
allg **g 
a tomlenm ne 
allgs []x*g 


func allgadd(gp *g) { 
allgs = append(allgs, gp) 
allg = &allgs[0] 
allglen = uintptr(len(allgs)) 


现在 我 们 知道 G 的 由 来 ， 以 及 复 用 方式 。 只 是 有 个 小 问题 ，G 似乎 从 来 不 被 释放 ， 会 不 会 有 存 
留 过 多 的 问题 ?不 过 好 在 垃圾 回收 会 调用 shrinkstack 将 其 栈 空间 回收 。 有 关 栈 的 相关 细节 ， 留 
待 后 文 再 说 。 


在 获取 G 对 象 后 ，newprocl 会 进行 一 系列 初始 化 操作 ， 毕 竞 不 管 新 建 还 是 复 用 ， 这 些 参 
数 都 必须 正确 设置 。 同 时 ， 相 关 执行 参数 会 被 捞 贝 到 G 的 栈 空间 ， 因 为 它 和 当前 任务 不 再 
有 任何 关系 ， 各 自 使 用 独立 的 栈 空间 。 毕 竞 ， go func(…) 语句 仅仅 创建 并 发 任务 ， 当 前 


流程 会 继 


续 自 己 的 逻辑 。 


创建 完毕 的 G 任务 被 优先 放 入 P 本 地 队列 等 待 执行 ， 这 属于 无 锁 操 作 。 


procl.go 


func runqput(_p_ *p, gp *g, next bool) { 
if randomizeScheduler && next && fastrand1()%2 == 0 { 


Wh 
at 


next = false 








如 果 可 能 ， 将 6 直接 保存 在 P. runnext， 作 为 下 一 个 优先 执行 任务 。 
next { 














evyNexes 


7 
sf 


oldnexte = nunnext 

if !_p_.runnext.cas(oldnext, guintptr(unsafe.Pointer(gp))) { 
goto retryNext 

上 

ufone x = 0 
return 


// 原本 的 next G 会 被 放 回 本 地 队列 。 
OpEEEoOldnEXtS ot 





runqhead 是 一 个 数组 实现 的 循环 队列 。 
head、tail 累加 ， 通 过 取 模 即 可 获得 索引 位 置 ， 很 典型 算法 。 








:= atomicload(& p_.runqhead) 
= un ta 


如 果 本 地 队列 未 满 ， 直 接 放 到 尾部 。 

t-h < uint32(len(_p_.runq)) { 
p .runqlt%uint32(len( p :rungq))] = gp 
atomicstore(& p_.runqtail, t+1) 
return 





放 入 全 局 队列 。 

因为 需要 加 锁 ， 所 以 s Low。 

Punoputslowp ht 
return 


goto retry 


任务 队列 分 为 三 级 ， 按 优先 级 从 高 到 低 分 别 是 P.runnext、P.runq、Sched.runq， 很 有 些 
CPU 多 级 缓存 的 意思 。 


funtime2.go 


type schedt struct { 
runqhead guintptr 
runqtail guintptr 
TS 这 


type p struct { 
runqhead uint32 
runqtaiL uint32 


runqg [256]*g // 本 地 队列 ， 访 问 无 需 加 锁 。 
runnext guintptr WN 


type g struct { 
schedlink guintptr  // 链表 。 


往 全 局 队列 添加 任务 ， 显 然 需要 加 锁 ， 只 是 专门 取 名 为 rundputslow 就 很 有 说 法 了 。 去 看 
看 到 底 怎么 个 慢 法 。 


procl.go 


func runqputslow(_p_ *p, gp *g, h, t uint32) bool { 
// 这 意思 显然 是 要 从 P 本 地 转移 一 半 任 务 到 全 局 队列 。 
J/ El A OD 
var batch [len(_p_.runq)/2 + 1]#g 


// 计算 一 半 的 实际 数量 。 
n= 
站 二名 /2 这 


// 从 队列 头 部 提取 。 
oie i mt (0 nt 
batch[il = _p_.runq[(h+i)%uint32(len(_p_.runqg))] 


// 调整 P 队列 头 部 位 置 。 
if !cas(& p_.runqhead, h, h+n) { 
return false 


// 加 上 当前 gp 这 家 伙 。 
batch[n] = gp 


// 对 顺序 进行 洗 牌 。 
if randomizeScheduler { 
oa = mt S21 =n 
J fastrandEO (0 
batehnll batenl= vatehlbil batenlal 


上 
; 
// 串 成 链表 。 
hom Omt32 (0 nt 
batch[i].schedlink.set(batch[i+1]) 
此 





// 添加 到 全 局 队列 尾部 。 
globrunqputbatch(batch[0], batch[n], int32(n+1)) 
return true 


func globrunqputbatch(ghead x*g, gtail x*g, n int32) { 
gtant schedlink ="0 
if sched.runqtaiL != 0 1 
sched. rundqtaiL.ptr().schedLink.set(ghead ) 
} else { 
sched. runqhead. set (ghead) 
上 
sched,.runqtail.set(gtail) 
sched,.runqsize += n 


如 本 地 队列 已 满 ， 一 次 性 转移 半数 到 全 局 队列 。 这 个 好 理解 ， 因 为 其 他 P 可 能 正 饼 着 呢 。 
这 也 正好 解释 了 newprocl 最 后 尝试 用 wakep 唤醒 其 他 M/P 去 执行 任务 的 意图 ， 毕 竞 充 分 
发 挥 多 核 优势 才 是 正 途 。 


最 后 标记 一 下 G 的 状态 切换 过 程 。 


三 三 RSS ===== 十 
| 
DIE DED 三 三 二 二 二 二 SRUNNABEEE >>RUNNING = DEADE =giree > 
新 建 初始 化 前 初始 化 后 调度 执行 执行 完毕 











4. 线程 


当 newproct 成 功 创建 G 任务 后 ， 会 尝试 用 wakep 唤醒 M 执行 任务 。 


procl.go 


func wakep() { 
// 被 唤醒 的 线程 需要 绑 定 P， 累 加 自 旋 计 数 ， 避 免 newproc1 唤醒 过 多 线程 。 
if !cas(&sched.nmspinning，0，1) { 
return 
上 
startm(nil, true) 


func startm(_p_ *p, spinning booL) { 
// 如 果 没 有 指定 P， 党 试 获取 空闲 P。 
J De = 
_p_ = pidleget() 


// 获取 失败 ， 终 止 。 
A redo i 
// 递减 自 旋 计数 。 
a ejs tala st 
xadd(&sched.nmspinning, -1) 
} 


return 


// 获取 休眠 的 闲置 M。 
mp := mget() 


// 如 没有 闲置 M， 新 建 。 
Timp == nol 
// 默认 启动 函数 。 
// 主要 是 判断 M. nextp 是 否 有 和 暂 存 的 P， 以 此 调整 自 旋 计 数 。 
var fn func() 
if spinning { 
fn = mspinning 
} 
newm(fn, _p_) 
return 


// 设置 自 旋 状态 和 暂 存 P。 
mp.spinning = spinning 
mp.nextp.set(_p_) 


// 唤醒 M。 
notewakeup(&mp.park) 


notewakeup/notesleep 实现 细节 参见 后 文 。 


和 前 文 G 对 象 复 用 类 似 ， 这 个 过 程 同样 有 闲置 获取 和 新 建 两 种 方式 。 先 不 去 理会 闲置 列表 ， 
看 看 M 究 竞 如 何 创建 ， 如 何 包装 系统 线程 。 


runtime2.g0o 


type m struct { 


9g0 *g // 提供 系统 栈 空间 。 
mstartfn func() // 启动 滔 数 。 
curg *g // 当前 运行 6。 
p puintptr // 绑 定 P。 
nextp puintptr // 临时 存放 P。 
spinning bool // 自 旋 状态 。 
park note // 休眠 锁 。 
schedlink muintptr // 链表 。 
上 
procl.go 


func newm(fn func(), _p_ *p) { 
// 创建 M 对 象 。 
mo: olocn( in) 


// 暂 存 P。 
mp.nextp.set(_p_) 


// 创建 系统 线程 。 
newosproc(mp, unsafe.Pointer(mp.g0.stack.hi)) 


Une a tlocm nonin em 
mp := new(m) 
mp.mstartfn = fn // 启动 函数 。 
mcommoninit(mp)  ”// 初始 化 。 


// 创建 g0。 
TInECaseeolecdyoEoieS5oEaisnonhieagE Geaewawamnmakeauss askEoak 
// Windows and Plan 9 will Layout sched stack on 09 stack. 


Tiscoo 汪 EGGO0OSEE=ESOLEaTS SS lO00S ==> windowse lllG00Ss=— “planoe et 
mp.go = malg(-1) 

} else { 
mp.go = malg(8192 x* stackGuardMultiplier) 

上 

mp.g0.m = mp 

return mp 


M 最 特别 的 就 是 自 带 一 个 名 为 90， 软 认 8KB 栈 内 存 的 G 对 象 属性 。 它 的 栈 内 存 地 址 被 传 
给 newosproc 函数 ， 作 为 系统 线程 默认 堆栈 空间 (并非 所 有 系统 都 支持 ) 。 


os1_linux.go 


const cloneFlags = _CLONE VM | /* share memory */ 
GONENES /* Share cwd, etc */ 
CONESFLIEESII| /* share fd table */ 
_CLONE_SIGHAND | “tsnare srgnhnandltenmeEable 7 
_CLONE_THREAD /* revisit -~ okay for now */ 


func newosproc(mp *m, stk unsafe.Pointer) { 
ret := clone(cloneFlags, stk, unsafe,.Pointer(mp), unsafe.Pointer(mp.9g0), 
unsafe.Pointer(funcPC(mstart) ) ) 


系统 调用 clone 更 多 信息 ， 请 参考 man 2 手册 。 


os1_windows.go 


func newosproc(mp *m, stk unsafe.Pointer) { 

const _STACK_SIZE PARAM IS A RESERVATION = 0x00010000 

thandle := stdcall6(_CreateThread, 0, 0x20000, 
funcpC(tstart_stdcall), uintptr(unsafe.Pointer(mp)), 
_STACK_SIZE_PARAM_IS A_RESERVATION, 0) 

if thandle == 0 1{ 
print("runtime: failed to create new 0S thread (have ",， 

mcount(), " already; errno=", getlasterror(), ")\n") 

throw("runtime.newosproc") 


Windows API CreateThread 不 支持 自 定 义 线程 堆栈 。 


在 进程 执行 过 程 中 ， 有 两 类 代码 需要 运行 。 其 一 自然 是 用 户 轴 辑 ， 直 接 使 用 G 栈 内 存 ; 另 
一 种 是 运行 时 管理 指令 ， 它 并 不 方便 直接 在 用 户 栈 上 执行 ， 因 为 这 需要 处 理 与 用 户 逻 辑 现 
场 有 关 的 一 大 堆 事 务 。 








举例 来 说 ，G 任务 可 在 中 途 暂 停 ， 放 回 队 列 后 由 其 他 M 获取 执行 。 如 不 更 改 执行 栈 ， 那 
可 能 会 造成 多 个 线程 共享 内 存 ， 从 而 引发 混乱 。 男 外 ， 在 执行 垃圾 回收 操作 时 ， 如 何 收缩 
依旧 被 线程 持 有 的 G 栈 空间 ”为 此 ， 当 需要 执行 管理 指令 时 ， 会 将 线程 栈 临 时 切换 到 g0， 
与 用 户 逻 辑 彻 底 隔 离 。 


其 实 ， 在 前 文 就 经 常 看 到 systemstack 这 种 执行 方式 ， 它 就 是 切换 到 g0 栈 后 再 执行 运行 时 
相关 管理 操作 。 
procl.go 
func newproc(siz int32, fn x*funcval) { 
systemstack(func() { 


newprocl(fn, (x*uint8)(argp), siz, 0, pc) 


网 


asm_amd04.s 


TEXT runtime:systemstack(SB), NOSPLIT, $0-8 


MOVQ fn+0(FP), DI Va Dn 

MOVQ g(CX), AX pa 0 

MOVQ g_m(AX), BX VANE 

MOVQ  m_g0(BX), DX // DX = g0 

CMPQ AX, DX // 如 果 当 前 g 已 经 是 90， 那 么 无 需 切 换 。 
JEQ noswitch 

MOVQ m_curg(BX), R8 // 当前 g。 

CMPQ AX, R8 // 如 果 是 用 户 逻 辑 g， 切 换 。 


JEQ switch 


WBadmonLs not gsignal notegor noteacurge What elisa 
MOVQ $runtime':badsystemstack(SB), AX 
CALL AX 


switch: 
// 将 6G 状态 保存 到 sched。 
MOVQ $runtime'systemstack_switch(SB)，SI 
MOVQ SI, (g_sched+gobuf_pc) (AX) 
MOVQ SP, (g_sched+gobuf_sp) (AX) 
MOVQ AX, (g_sched+gobuf_g)(AX) 
MOVQ BP, (g_sched+gobuf_bp) (AX) 


// 切换 到 g0. stack。 


MOVQ DX, g(CX) // DX = g0 
MOVQ (g_sched+gobuf_sp) (DX), BX // 从 90.sched 获取 SP。 
SUBQ $8, BX // 调整 SP。 


MOVQ $runtime:mstart(SB), DX 
MOVQ DX, 0(BX) 
MOVQ BX, SP // 通过 调整 SP 寄存 器 值 来 切换 栈 内 存 。 


// 执行 系统 管理 函数 。 

MOVQ Di DX // DI = fn 
MOVQ QDI DA 

CALL Dy 


// 切换 回 6， 恢 复 执行 现场 。 

MOVQ g(CX), AX 

MOVQ g_m(AX), BX 

MOVQ m_curg(BX), AX 

MOVQ AX, g(CX) 

MOVQ (g_sched+gobuf_sp) (AX), SP 
MOVQ $0, (g_sched+gobuf_sp) (AX) 
RE 





noswitch: 
-alreadyeonmestacke ca de 
MOVQ Di Dx 
MOVQ 0(DI), DI 
CALL DI 
RET 


从 这 段 代码 ， 我 们 可 以 看 出 90 为 什么 同样 是 个 G 对 象 ， 而 不 是 直接 用 stack 的 原因 。 


M 初始 化 操作 会 检查 已 有 数量 ， 如 超出 最 大 限制 (默认 10000) 会 导致 进程 朋 演 。 所 有 M 
被 添加 到 allm 链表 ， 且 不 被 释放 。 


runtime2.g0o 


Var allm *m 


procl.go 


func mcommoninit(mp *m) { 
mp.id = sched.mcount 
sched.mcount++ 
checkmcount() 
mpreinit(mp) 


mposanank = ottum 
atomicstorep(unsafe.Pointer(&allm), unsafe.Pointer(mp)) 


func checkmcount() { 
if sched.mcount > sched.maxmcount { 
throw("thread exhaustion") 


可 用 runtime/debug.SetMaxThreads 修改 最 大 线程 数量 限制 ， 但 仅 建议 在 测试 阶段 通过 设置 较 小 
值 作为 错误 触发 条 件 。 


回 到 wakep/startm 流程 ， 默 认 优先 选用 闲置 M， 只 是 这 个 闲置 从 何 而 来 ? 


runtime2.g0 


type schedt struct { 


midle muintptr  // 闲置 M 链表 。 
nmidle int32 // 闲置 M 数量 。 
mcount int32 // 已 创建 M 总 数 。 
maxmcount ES 甩 // M 最 大 闲置 。 
上 
procl.go 


// 从 空闲 链表 获取 M。 
func mget() xm { 
mp := sched.midle.ptr() 
mn 
sched.midle = mp.schedlink 
senmeasmnmaile 
上 


return mp 


被 唤醒 进入 工作 状态 的 M， 会 陷入 调度 循环 ， 从 各 种 可 能 场所 获取 并 执行 G 任务 。 只 有 
当 彻 底 找 不 到 可 执行 任务 ， 或 因 任 务 用 时 过 长 、 系 统 调用 阻塞 等 原因 被 剥夺 P 了 时 ， 才 会 进 
入 休眠 状态 。 








procl.go 


// 停止 M， 使 其 休眠 。 
func stopm() { 
_g_ := getg() 


// 取消 自 旋 状 态 。 

Tmesolnninognt 
gm spinning = false 
xadd(&sched.nmspinning, -1) 


SIGN 
// 放 回 闲置 队列 。 
mput(_g_.m) 























// 休眠 ， 等 待 被 唤醒 。 
notesleep(& g_.m.park) 
noteclear(& g_.m.park) 


// 绑 定 P。 
acquirep(_g_.m.nextp.ptr()) 
Woemanexto = 


// 将 M 放 入 闲置 链表 。 

func mput(mp *m) { 
mpschedlink ="schedsmidle 
sched.midte.set(mp) 
sched,nmidLe++ 


我 们 允许 进程 里 有 成 千 上 万 的 并 发 任务 G， 但 最 好 不 要 有 太 多 的 M。 且 不 说 通过 系统 调用 
创建 线程 本 身 就 有 很 大 的 性 能 损耗 ， 大 量 闲 置 且 不 被 回收 的 线程 、M 对 象 、90 栈 空间 都 是 
资源 浪费 。 好 在 这 种 情形 极 少 出 现 ， 不 过 还 是 建议 在 生产 部 署 前 做 严格 测试 。 








下 面 是 利用 cgo 调用 sleep syscall 来 生成 大 量 M 的 示例 。 


test.go 
package main 


import ( 
[i sync™ 
"time" 


) 


// #include <unistd.h> 
np 


func main() { 
var wg sync.WaitGroup 


wg.Add(1000) 


for i := 0; i < 1000; i++ { 


go funeO 
C.sleep(1) 
wg.Done() 
bt) 
I 
wg.Wait() 


println("done!") 
time.Sleep(time.Second * 5) 


利用 GODEBUG 输出 调度 器 状态 ， 你 会 看 到 大 量 闲置 线程 。 


Ee 


Fugonbulde omnestmkiesE 


$ GODEBUG="schedtrace=1000" ./test 


SCHED oms: gomaxprocs=2 idleprocs=1 threads=3 spinningthreads=0 idlethreads=0 runqueue=0 [0 0] 

SCHED 1006ms: gomaxprocs=2 idleprocs=0 threads=728 spinningthreads=0 idlethreads=0 runqueue=125 [113 33] 
SCHED 2009ms: gomaxprocs=2 idleprocs=2 threads=858 spinningthreads=0 idLethreads=590 runqueue=0 [0 0] 

done! 
SCHED 3019ms: gomaxprocs=2 idleprocs=2 threads=858 spinningthreads=0 idlethreads=855 runqueue=0 [0 0] 
SCHED 4029ms: gomaxprocs=2 idleprocs=2 threads=858 spinningthreads=0 idlethreads=855 rundqueue=0 [0 0] 
SCHED 5038ms: gomaxprocs=2 idleprocs=2 threads=858 spinningthreads=0 idlethreads=855 runqueue=0 [0 0] 








SCHED 6048ms: gomaxprocs=2 idleprocs=2 threads=858 spinningthreads=0 idlethreads=855 rundqueue=0 [0 0] 


runqueue 输出 全 局 队列 ， 以 及 P 本 地 队列 G 任务 数量 。 


可 将 done 后 的 等 待 时间 修 改 得 更 长 (比如 10 分 钟 ) ， 用 来 观察 垃圾 回收 和 系统 监控 等 机 


制 是 否 会 影响 idlethreads 数量 。 


$ GODEBUG="gctrace=1, schedtrace=1000" ./test 


除 线程 数量 外 ， 程 序 执行 时 间 (user, sys) 也 有 很 大 差别 ， 可 以 简单 对 比 一 下 。 


func main() { 
var wg sync.WaitGroup 
wg.Add(1000) 


for i := 0; i < 1000; i++ { 
go fune( 


C.sleep(1) // 测试 1 
// time.Sleep(time.Second) // 测试 2 


wg.Done() 


seqosbuld oesti te do SLime es 


real om1.159s 
user om0.056s 


SyS om0.105s 


Fgo bun onkest2n te do Se men /tes 
real QOm1.022s 


user om0.006s 
SyS om0.006s 


输出 结果 中 user 和 sys 分 别 表示 用 户 态 和 内 核 态 执行 时 间 ， 多 核 累 加 。 


标准 库 封装 的 time.Sleep 针对 goroutine 进行 了 改进 ， 并 未 使 用 syscall。 当 然 ， 这 个 示例 和 
测试 结果 也 仅 用 于 演示 ， 具 体 问 题 具 体 对 待 。 





人行 


M 执行 G 并 发 任务 有 两 个 起 点 : 线程 启动 函数 mstart， 还 有 就 是 stopm 休 眼 唤醒 后 再 度 
恢复 调度 循环 。 


让 我 们 从 头 开始 。 


procl.go 


func mstart() { 
_g_ := getg() 


// 确定 栈 边界 。 





ESEaGkKeRLIOE Ont 
// 对 于 无 法 使 用 g0 stack 的 系统 ， 直 接 在 系统 堆栈 上 划 出 所 需 空间 。 
SLZE = 0 otackaha 
uciZes == 0 


size = 8192 x* stackGuardMultiplier 
} 


// 通过 取 size 变量 指针 来 确定 高 位 地 址 。 
_g_.Stack.hi = uintptr(noescape(unsafe.Pointer(&size))) 


gaCKlo = Skack hi Sze 04 
上 


_g_.Sstackguard0 = _g_.stack.lo + _StackGuard 
_g_.Stackguard1 = _g_.stackguard0 


mstart1() 


func mstart1() { 
_g_ := getg() 


a eh 
throw("bad runtime:mstart") 


// 初始 化 g@ 执行 现场 。 
gosave(& g_.m.g0.sched) 
_g_,m.g0o.sched.pc = ^uintptr(0) // make sure it is never used 


// 执行 启动 函数 。 
by Ao i eee ital = nl 
fn() 


// 在 GC startTheworLd 时 ， 会 检查 闲置 M 是 否 少 于 并 发 标记 需求 (needaddgcproc) 。 
// 新 建 M, 设置 m.helpgc = -1， 加 入 闲置 队列 等 待 唤醒 。 
omel on 
gmaheuge ="0 
stopm() 
} else if g_.m != Smo { 
// 绑 定 P。 
acquirep(_g_.m.nextp.ptr()) 
omamnextp = 0 





// 进入 任务 调度 循环 (不 再 返回 ) 。 
schedule() 


准备 进入 工作 状态 的 M 必须 绑 定 一 个 有 效 P，nextp 临时 持 有 待 绑 定 P 对 象 。 因 为 在 未 正 
式 执行 前 ， 并 不 适合 直接 设置 相关 属性 。P 为 M 提供 cache， 以 便 为 执行 绪 提 供 对 象 内 存 
分 配 。 








procl.go 


func acquirep(_p_ *p) { 
acquirep1(_p_) 


// 绑 定 mcache。 
_g_ := getg() 
gmmmoacnes = meache 


func acquirep1l(_p_ *p) { 
a0 2=°0etgl) 
_g_:m.p.set(_p_) 
Dnset (oman) 
_p_,status = _Prunning 


一 切 就 绪 后 ，M 进入 核心 调度 循环 ， 这 是 一 个 由 schedule、execute、gotoutine fn、goexit 
函数 构成 的 逻辑 循环 。 就 算 M 在 休眠 唤醒 后 ， 也 上 只是 从 断 点 ”恢复 。 


procl.go 


func schedule() { 
ggetdg( 


top: 
// 准备 进入 GC STW， 休 眠 。 
if sched.gcwaiting != 0 + 


gcstopm() 
goto top 
} 
var gp *g 


// 当 从 P.next 提取 G 时，inheritTime = true。 


// 不 累加 P.schedtick 计数 ， 使 得 它 延 长 本 地 队列 处 理 时 间 。 
var inheritTime bool 


// 进入 GC MarkWorker 工作 模式 。 
if gp == nil && gcBlackenEnabled != 0 1{ 
gp = gcController,.findRunnableGCWorker(_g_.m.p.ptr()) 
oD 
resetspinning() 


// 每 处 理 n 个 任务 后 就 去 全 局 队列 获取 G 任务 ， 以 确保 公平 。 
== 
if _g_.m.p.ptr().schedtick%61 == 0 && sched,runqsize > 0 1 
lock(&sched. Lock ) 
gp = globrunqget(_g_.m.p.ptr(), 1) 
untLock(&sched. Lock) 
eo NU 
resetspinning() 


// 从 P 本 地 队列 获取 G 任务 。 
0 == lf 
gp, inheritTime = runqget(_g_.m.p.ptr()) 
no = monnanone 
throw("schedule: spinning with local work") 


// 从 其 他 可 能 的 地 方 获取 G 任务 。 
// 如 果 获 取 失 败 ， 会 让 M 进入 休眠 状态 ， 被 唤醒 后 重 试 。 
0 == nl 
gp, inheritTime = findrunnable() // blocks until work is available 


resetspinning() 


// 执行 goroutine 任务 函数。 
execute(gp, inheritTime) 


有 关 lockedg 细节 ， 参 见 后 文 。 


调度 函数 获取 可 用 的 G 后 ， 交 由 execute 去 执行 。 同 时 ， 还 检查 环境 开关 来 决定 是 否 参 与 
垃圾 回收 。 


把 相关 细节 放下 ， 先 走 完 整个 调度 循环 再 说 。 


procl.go 


func execute(gp x*g, inheritTime bool) { 
_9g_ := getg() 


casgstatus(gp, _Grunnable, _Grunning) 
gp.waitsince = 0 


gqpapreempte = false 
gp.stackguard0 = gp.stack.lo + _StackGuard 


_g_:Mm.CUrg = gp 
gpm = _g_.m 


gogo(&gp.sched) 


真正 关键 的 就 是 汇编 实现 的 gogo 函数 。 它 从 g0 栈 切 换 到 G 栈 ， 然 后 用 一 个 JMP 指令 进 
入 G 任务 函数 代码 。 


asm_amd064.s 


TEXT runtime:gogo(SB), NOSPLIT, $0-8 


MOVQ buf+0(FP), BX // gobuf 

MOVQ gobuf_g(BX), DX // 6 

MOVQ 0(DX), CX // make sure g != nil 
get_tls(CX) 

MOVQ DX, g(CX) Wo 

MOVQ gobuf_sp(BX), SP // 通过 恢复 SP 寄存 器 值 切换 到 G 栈 。 


MOVQ gobuf_ret (BX), AX 
MOVQ gobuf_ctxt (BX), DX 
MOVQ gobuf_bp(BX), BP 


MOVQ 
MOVQ 
MOVQ 
MOVQ 
MOVQ 
JMP 


$0, gobuf_sp(BX) // clear to help garbage collector 
$0, gobuf_ret(BX) 

$0, gobuf_ctxt(BX) 

$0, gobuf_bp(BX) 

gobuf_pc(BX), BX // 获取 G 任务 函数 地 址 。 

BX // 执行 。 


这 里 有 个 细节 ，JMP 并 不 是 CALL， 也 就 是 说 不 会 将 PC/IP 入 栈 ， 那 么 执行 完 任务 函数 后 ， 
RET 指令 恢复 的 PC/IP 值 是 什么 ? 我 们 在 schedule、execute 里 也 没 看 到 goexit 调用 ， 究 
竟 如 何 再 次 进入 调度 循环 呢 ? 


在 newprocl 创建 G 任务 时 ,我们 曾 忽 略 了 一 个 细 市 。 


procl.go 


func newproc1(fn x*funcval, argp x*uint8, narg int32, nret int32, callerpc uintptr) x*g { 
newg.sched.sp = sp 


// 此 处 保存 的 是 goexit 地 址 。 
newg.sched.pc = funcPC(goexit) + _PCQuantum 


newg.sched.g = guintptr(unsafe.Pointer(newg)) 


// 此 处 调用 是 关键 所 在 。 
gostartcallfn(&newg.sched, fn) 


newg.gopc = callerpc 
newg.startpc = fn.fn 


在 初始 化 G.sched 时 ，pc 保存 的 是 goexit 而 非 fd。 关键 秘密 就 是 随后 调用 的 gostartcallfn 


函数 。 


stackl.go 


func gostartcallfn(gobuf x*gobuf, fv x*funcval) { 
gostartcall(gobuf, fn, (unsafe.Pointer) (fv)) 


SyS_X80.go 


func gostartcall(buf x*gobuf, fn, ctxt unsafe.Pointer) { 
// 调整 sp。 


sp 


"= bufesp 


if regSize > ptrSize { 


Se = Sze 


*(x*uintptr) (unsafe.Pointer(sp)) = 0 
} 
Sp = DSIze 


// 将 buf,pc 也 就 是 goexit 入 栈 。 
*(*Uuintptr) (unsafe,.Pointer(sp)) = buf.pc 


// 然后 再 次 设置 sp 和 pc， 此 时 pc 才 是 G 任务 函数 。 
bufssp = sp 

buf een= Ut ar( fn 

Dtse text = txt 


ARM 使 用 LR 寄存 器 存储 PC 值 ， 而 非 保存 在 栈 上 。 


很 显然 ， 在 初始 化 完成 后 ，G 栈 顶 端 被 压 入 了 goexit 地 址 。 汇 编 函 数 gogo JMP 跳 转 执行 
G 任务， 那么 函数 尾部 的 RET 指令 必然 是 将 goexit 地 址 恢复 到 PC/IP， 从 而 实现 任务 结 
束 清理 操作 和 再 次 进入 调度 循环 。 


asm_amd064.s 


TEXT runtime:goexit(SB),NOSPLIT, $0-0 
CALL runtime'goexit1(SB) // does not return 


procl.go 


flumenooexatu 
// 切换 到 g@ 执行 goexit0。 
mcall(goexit0) 


// goexit continuation on g0， 
func goexit0(gp *g) { 
9 有三 gekqj 二 


/EG 人 

casgstatus(gp, _Grunning, _Gdead) 
gbam = 

gp. Lockedm = nil 

_g_.m. lockedg = nil 
gp.paniconfault = false 
gqpamdetere =mnak 

gp panie®= nil 

gpswrntebufe nak 

gpswaltreasom = 
gpnparam .=nil 


dropg() 


gmULOCKedEEO 


// 将 6G 放 回 复 用 链表 。 
ip (om pr 


// 重新 进入 调度 循环 。 
schedule() 


无 论 是 mcall、systemstack， 还 是 gogo 都 不 会 更 新 g0.sched 栈 现场 。 需 要 切换 到 g0 栈 时 ， 
直接 从 “g_sched+gobuf_sp” 读 取 地 址 恢复 SP。 所 以 调用 goexit0/schedule 时 ，g0 栈 又 从 头 
开始 ， 原 调用 堆栈 全 部 失效 ， 就 算 不 返回 也 无 所 谓 。 


在 mstart1l 里 调用 gosave 初始 化 了 g0.sched.sp 等 数据 ， 


procl.go 


func mstart1() { 
// Record top of stack for use by mcall. 
// Once we call schedule we're never coming back, 
/sootherpeallts eannreue tha stack snaces 
gosave(& g_.m.g0.sched) 
_g_.m.g0.sched.pc = ^uintptr(0) // make sure it is never used 


asm_amd064.s 


WsovesskateneGobi Sew 
TEXT runtime:gosave(SB), NOSPLIT, $0-8 


MOVQ buf+0(FP), AX // gobuf 

LEAQ buf+0(FP), BX /collenresesp 
MOVQ BX, gobuf_sp(AX) 

MOVQ 0(SP), BX // caller's PC 


MOVQ BX, gobuf_pc(AX) 
MOVQ $0, gobuf_ret(AX) 
MOVQ $0, gobuf_ctxt(AX) 
MOVQ BP，gobuf_bp(AX) 
MOVQ g(CX), BX 

MOVQ BX, gobuf_g(AX) 
RET 





至 此 ， 单 次 任务 完整 结束 ， 又 回 到 查找 待 运行 G 任务 状态 ,循环 往复 。 


findrunnable 





为 了 找到 可 以 运行 的 G 任务 ，findrunnable 可 谓 费 尽心 机 。 本 地 队列 、 全 局 队列 、 网 络 任 
务 (netpoll) ,其 至 是 从 其 他 P 了 任务 队列 偷 鲫 。 所 有 的 目的 都 是 为 了 尽快 完成 所 有 任务 ， 
充分 发 挥 多 核 并 行 能 力 。 


procl.go 


func findrunnable() (gp *g, inheritTime bool) { 
_9_ := getg() 


top: 
// 垃圾 回收 。 
if sched.gcwaiting != 0 { 
gcstopm() 
goto top 





// fing 是 用 来 执行 finaLizer 的 goroutine。 
if fingwait && fingwake { 
nop = wakefing(O es go na 
ready (gp, 0) 
| 


// 从 本 地 队列 获取 。 
Tf nn elmer Undoet (om (nf 
bebenegp eane 


// 从 全 局 队列 获取 。 
if sched.runqsize != 0 1 
gpi=— olobrundgert(mom ma to 
a oo ue 
jennedpialse 


// 检查 netpoll 任务 。 
if netpollinited() && sched.lastpoll != 0 1 
if gp := netpoll(false); gp != nil { // non-blocking 

// 返回 的 是 多 任务 链表 ， 将 其 他 任务 放 回 全 局 队列 。 
// gp.schedlink 链表 结构 。 
injectglist(gp.schedlink.ptr()) 
casgstatus(gp, _Gwaiting, _Grunnable) 
len op atse 


























// 随机 挑 一 个 P， 偷 些 任务 。 
for i := 0@; i < int(4*gomaxprocs); i++ { 
if sched.gcwaiting != @ { 


goto top 


// 随机 数 取 模 确 定 目标 P。 
_p_ := allplfastrand1()%uint32(gomaxprocs)] 
var gp *g 
i oe (et 
// 本 地 队列 。 
gb rundqogee(m a) 
} else { 
// 如 果 尝 试 次 数 太 多 ， 连 目标 P. runnext 都 偷 ， 这 是 饿 得 狠 了 。 
stealRunNextG := i > 2#int(gomaxprocs) 
gp = runqsteal( g_.m.p.ptr(), _p_, stealRunNext6G) 
} 


be nl 
return gp, false 


SO 


// 检查 GC MarkwWorker。 
if p_ := _g_.m.p.ptr(); gcBlackenEnabled != 0 && _p_ .gcBgMarkwWorker != nil && 
gcMarkWorkAvailable( _p_) { 
_p_.gcMarkWorkerMode = gcMarkWorkerIdleMode 
gp := _p_.gcBgMarkWorker 
casgstatus(gp, _Gwaiting, _Grunnable) 
return gp, false 


// 再 次 检查 垃圾 回收 状态 。 
usehnedrgewantnon “00 mp ununsafePonmtn 0 
goto top 


// 再 次 尝试 全 局 队列 。 

if sched.runqsize != 0 1 
gp := globrunqget(_g_.m.p.ptr(), 0) 
return gp, false 


// 释放 当前 P， 取 消 自 旋 状 态 。 

_p_ := releasep() 

pidleput(_p_) 

fm nna 
que mespunnlinge = ietse 
xadd(&sched.nmspinning, -1) 


// 再 次 检查 所 有 P 任务 队列 。 


om Om momaxpnoosD ee 
| 
In undemp tp 


// 绑 定 一 个 空闲 P， 回 到 头 部 尝试 偷 取 任务 。 
_p_ = pidleget() 
2 oe ai af 





acquirep(_p_) 


goto top 


break 


// 再 次 检查 netpoll。 
if netpollinited() && xchg64(&sched,. lastpoll, 0) != 0 4 
gp := netpoll(true) // block until new work is available 
atomicstore64(&sched. lastpoll, uint64(nanotime())) 
hg mane 
pe pdledet 
J on 
acquirep(_p_) 
injectglist(gp.schedlink.ptr()) 
casgstatus(gp, _Gwaiting, _Grunnable) 
Pewumnegp rialtse 
上 
injectgList(gp) 


// 一 无 所 得 ， 休 眠 。 
stopm() 
goto top 


每 次 看 到 这 里 ， 我 都 想 吐槽 一 句 : 这 代码 就 不 能 改 改 。 


按 查找 流程 ， 我 们 依次 查看 不 同 优 先 级 的 获取 方式 。 首 先是 本 地 队列 ， 其 中 P.runnext 优 
先 级 最 高 。 


procl.go 
func runqget(_p_ *p) (gp *g, inheritTime bool) { 


// 优先 从 runnext 获取 。 
// 循环 尝试 cas。 为 什么 用 同步 操作 ? 因为 有 可 能 其 他 P 从 本 地 队列 偷 任务 。 


To 
hexXe .Dun nexEt 
neX t= 
break 
上 
if _p_.runnext.cas(next, 0) { 
return next.ptr(), true 
} 
上 


// 本 地 队列 。 
om 


atomicload(& p_.runqhead) 
1 oe [clon ahdl 


return nil, false 


// 从 头 部 提取 。 

gD == umole umts (len nonl 

if cas(& p_.runqhead, h, h+1) { // cas-release, commits consume 
Peleneopeialse 


runnext 不 会 影响 schedtick 计数 ， 也 就 是 说 让 schedule 执行 更 多 的 任务 才 会 去 检查 全 局 队列 ， 所 
以 才 会 有 inheritTime = true 的 说 法 。 


在 检查 全 局 队列 时 ， 除 返回 一 个 可 用 G 外 ， 还 会 批量 转移 一 批 到 了 本 地 队列 ， 毕 竞 不 能 
每 次 加 锁 去 操作 全 局 队列 。 


procl.go 
func globrunqget(_p_ *p, max int32) xg { 


if sched.runqsize == 0 { 
hewunmnenast 














// 将 全 局 队列 任务 等 分 ， 计 算 最 多 能 批量 获取 的 任务 数量 。 
n := sched.runqsize/gomaxprocs + 1 
if n > sched.runqsize { 

n = sched.rungqsize 


上 

if max >0 && n> maxt 
n = max 

上 


// 不 能 超过 runq 数组 长 度 的 一 半 (128) 。 
tn nt ten pun yt 
ne =n 2 (Len nn 


// 调整 计数 。 

sched,.runqsize -= n 

if sched.runqsize == 0 1{ 
SGchedsrundtand = 





// 返回 第 一 个 6 任务 ， 随 后 的 才 是 要 批量 转移 到 本 地 的 任务 。 
gp := sched,runqhead.ptr() 
sched, runqhead = gp.schedlink 











OF 
gp1 := sched.runqhead.ptr() 
sched,. runqhead = gp1.schedLink 
runqput(_p_, gp1, false) 


return gp 


只 有 当 本 地 和 全 局 队列 都 为 空 时 ， 才 会 考虑 去 检查 其 他 P 任务 队列 。 这 个 优先 级 最 低 ， 因 
为 会 影响 目标 P 的 执行 〈 必 须 使 用 原子 操作 ) 。 


procl.go 


func rungqsteal(_p_, p2 *p, stealRunNextG bool) #g { 
Una 


// 尝试 从 p2 偷 取 一 半 任 务 存 入 p 本 地 队列 。 
n := runqgrab(p2, & p_.runq, t, stealRunNext6G) 














== 0 
petumena 
上 
// 返回 尾部 的 G 任务 。 
n= 
gp := _p_.runq[(t+n)%uint32(len(_p_.runq))] 
ne == 0 
return gp 
} 


// 调整 目标 队列 尾部 状态 。 
atomicstore(& p_.runqtail, t+n) 





return gp 


func runqgrab(_p_ *p, batch x*[256]*g, batchHead uint32, stealRunNextG bool) uint32 { 
Forme 
// 计算 批量 转移 任务 数量 。 
h := atomicload(& p_.runqhead) 
t := atomicload(& p_.rungqtail) 
n :=t-h 
n= 


// 如 果 没 有 ， 那 就 尝试 偷 runnext 吧 。 
n= 
if stealRunNextG { 
I eX AUNnMext next 0 
usleep(100) 
Tunnext oas(next on 
continue 


上 
batch [batchHead%uint32(Len(batch))] = next.ptr() 
hetyrmn 


} 


return 0 


// 数据 异常 ， 不 可 能 超过 一 半 值 。 重 试 。 
nfm > unt32 ene rn /read nconsstent hn andt 
continue 


// 转移 任务 。 

Om nt (0 nt 
g := _p_ .runq[(h+ti)suint32(TLen(_p_.runq))] 
batch[(batchHead+i)%uint32(Len(batch))] = 9 


// 修改 源 P 队列 状态 。 

// 失败 重 试 。 因 为 没有 修改 源 和 目标 队列 位 置 状态 ， 所 以 没有 影响 。 

if cas(& p_.runqhead, h, h+n) { // cas-release, commits consume 
return n 


这 就 是 某 份 官方 文档 里 提 及 的 Work-Stealing 算法 。 


lockedg 
在 执行 cgo 调用 时 ,会 用 lockOSThread 将 G 锁定 在 当前 线程 。 


cgocall.go 


func cgocall(fn, arg unsafe.Pointer) int32 { 
/* 
* Lock g to m to ensure we stay on the same stack if we do a 
egqorcallbaceka Addmentry tondeter stacko in ceasesotmoantes 
*/ 
lockOSThread() 
mp =0erdl(O nm 
mp.ncgocall++ 
mp.ncgo++ 
defer endcgo(mp) 


func endcgo(mp *m) { 
mp.ncgo—— 


unlockOSThread() // invalidates mp 


锁定 操作 很 简单 ， 只 需 设置 G.lockedm 和 M.lockedg 即 可 。 


btoc.go 


func lockOSThread() { 
getg().m.locked += _LockInternal 
dolockOSThread() 


func dolockOSThread() { 
a) Le rat) 
gm Lockedqg = 
MgBtoGKkedn .=e 


当 调度 函数 schedule 检查 到 locked 属性 时 ， 会 适时 移交 ， 让 正确 的 M 去 完成 任务 。 


简单 点 说 ， 就 是 lockedm 会 休眠 ， 直 到 某 人 将 lockedg 交 给 它 。 而 不 幸 拿 到 1lockedg 的 M， 
则 要 将 lockedg 连同 了 一 起 传递 给 lockedm ， 还 负责 将 其 唤醒 。 至 于 自己 ， 则 因 失 去 了 被 
迫 休眠 ， 直 到 wakep 带 着 新 的 P 唤醒 它 。 





procl.go 


func schedule() { 
om: = qetdly 


// 如 果 当 前 M 是 Lockedm， 那 么 休眠 。 
// 没有 立即 execute(Lockedg)， 是 因为 该 Lockedg 此 时 可 能 被 其 他 M 获取 。 
// ” 兴 许 是 中 途 用 gosched 暂时 让 出 P， 进 入 待 运行 队列 。 
if _g_.m.lockedg != nil { 
stoplockedm() 
execute(_g_.m.lockedg, false) // Never returns. 














EO) on 


// 如 果 获 取 到 的 G 是 Lockedg， 那 么 将 其 连同 P 交 给 Lockedm 去 执行 。 
// 休眠 ， 等 待 唤醒 后 重新 获取 可 用 G。 
nop Uockedme nat 

startlockedm(gp) 

goto top 


Po 


// 执行 goroutine 任务 图 数 。 
execute(gp, inheritTime) 





func startlockedm(gp *g) { 
OOetd 全 
mp := gp. Lockedm 


// 移交 P， 并 唤醒 Lockedm。 
_p_ := releasep() 
mp.nextp.set(_p_) 


notewakeup(&mp.park) 


// 当前 M 休眠 。 
stopm() 


从 中 可 以 看 出 ， 除 lockedg 只 能 由 lockedm 执行 外 ，lockedm 在 完成 任务 或 主动 解除 锁定 
前 也 不 会 执行 其 他 任务 。 这 也 是 在 前 面 章节 我 们 用 cgo 生成 大 量 M 实例 的 原因 。 


procl.go 


func goexit@(gp x*g) { 
_9_ := getg() 


// 解除 锁定 设置 。 
gpame= a 
gbalockedme= na 
glematockedge = ml 





可 调用 UnlockOSThread 主动 解除 锁定 ， 以 便 允 许 其 他 M 完成 当前 任务 。 


procl.go 


func unlockOSThread() { 
IEEd 全 
if _g_.m.locked < _LockInternal { 
systemstack(badunlockosthread) 
上 
ogBemalockede = loakintennal 
dounlockOSThread() 


func dounlockOSThread() { 


_g_ := getg() 
nf meuockednl Ont 
return 


上 


guem lockedg =Snal 
gn tockedm = nat 


6. 连续 栈 


历经 Golang 1.3、1.4 两 个 版 本 的 过 渡 ， 连 续 栈 (Contiguous Stack) 的 地 位 已 经 稳固 。 而 
且 1.5 和 1.4 比 起 来 ， 似 乎 也 没 太 多 的 变化 ， 这 是 个 好 现象 。 


连续 栈 将 调用 堆栈 (call stack) 所 有 栈 帧 分 配 在 一 个 连续 内 存 空间 。 当 空间 不 足 时 ， 另 分 
配 2x 内 存 块 ， 并 拷贝 当前 栈 全 部 数据 ， 以 避免 分 段 栈 (Segmented Stack) 链表 结构 在 通 
数 调 用 频繁 时 可 能 引发 的 切 分 热点 (hot split) 问题 。 


一 5 
结构 示意 图 : 
Lo stackguard0 hi 
二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| StackGuard | | 
二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 


funtime2.go 


type stack struct { 
lo uintptr 
hi uintptr 

} 


type g struct { 
// Stack parameters. 
// stack describes the actual stack memory: [stack.lo, stack.hi). 
// stackguard0 is the stack pointer compared in the Go stack growth prologue. 
Wo tackalorstackGuardmnormally but eanbe Stackpreemt to En areentlons 
stack stack 
stackguard0 uintptr 


其 中 stackguard0 是 个 非常 重要 的 指针 。 在 函数 头 部 ， 编 译 右 会 插入 一 段 指 令 ， 用 它 和 SP 
寄存 器 进行 比较 ， 从 而 决定 是 否 需要 对 栈 空 间 扩 容 。 另 外 ， 它 还 被 用 作 抢占 调度 标志 。 


栈 空间 的 初始 分 配 发 生 在 newptocl 创建 新 G 对 象 时 。 


Stack2.go 


// 操作 系统 需要 保留 的 区 域 ， 比 如 用 来 处 理 信 号 等 等 。 
_StackSystem = goos_windows*512*ptrSize + goos_plan9*512 + goos_darwinkgoarch_armk1024 


// 默认 栈 大 小 。 
_StackMin = 2048 


// StackGuard 是 一 个 警戒 指针 ， 用 来 判断 栈 容量 是 否 需要 扩张 。 
_StackGuard = 640#stackauardMuLtipLier + _StackSystem 


几 个 相关 常量 值 ， 以 Linux 系统 为 例 ，_StackSystem = 0，_StackGuatrd = 640。 


procl.go 


func newproc1(fn x*funcval, argp x*uint8, narg int32, nret int32, callerpc uintptr) x*g { 
newg := gfget(_p_) 
ImewWo = nt 
newg = malg(_StackMin) 


func malg(stacksize int32) x*g { 
newg := new(g) 
if stacksize >= 0 { 
stacksize = round2(_StackSystem + stacksize) 
systemstack(func() { 
newg.stack, newg.stkbar = stackalloc(uint32(stacksize)) 
bo 


newg.stackguard0 


newg.stack.lo + _StackGuard 
人 ^intptr(0) 
newg.stackAlloc = uintptr(stacksize) 


newg.stackguard1 


J 


return newg 





在 获取 栈 空间 后 ， 会 立即 设置 stackguard0 指针 。 





stackcache 


因 栈 空间 使 用 频繁 ， 所 以 采取 了 和 cache/object 类 似 的 做 法 ， 就 是 按 大 小 分 成 几 个 等 级 进 
行 缓存 复 用 ， 当 然 也 包括 回收 过 多 的 闲置 块 。 


以 Linux 为 例 ，_FixedStack 大 小 和 _StackMin 相同 ，_NumStackOrdets 等 于 4。 


Stack2.go 


// The minimum stack size to allocate. 

// The hackery here rounds FixedStack0 up to a power of 2， 
_FixedStack0 = _StackMin + _StackSystem 

国 EIXEdUSEaGKCIEE= xedSstacko ol 

_FixedStack2 = _FixedStackl 
edStacks = xedS tack> 
_FixedStack4 = _FixedStack3 
_FixedStack5 = _FixedStack4 
FxedSstack6 = LXedStacks 
PixedStack ee = FixedStacek6 


(_FixedStackl1 >> 1 
(_FixedStack2 >> 2 
(_FixedStack3 >> 4 
(_FixedStack4 >> 8 
者 
站 


| 
| 
| 
| 
| FixedStack5 >> 1 
十 


malloc.go 


// Number of orders that get caching. Order 0 is FixedStack 
wandeachsueeessavenonrdernnis tuicenasalanges 

// We want to cache 2KB, 4KB, 8KB, and 16KB stacks. Larger stacks 
waevab De allocated decnlys 

WSamee lxedoracke rs rpterent on ditieremsytems we 

// must vary NumStackOrders to keep the same maximum cached size. 


AS | FixedStack | NumStackOrders 
/ /一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
// linux/darwin/bsd | 2KB | 4 
// windows/32 | 4KB | 本 SS 
// windows/64 | 8KB | 这 
Wp plan9 | 4KB | 


_NumStackOrders = 4 - ptrSize/4*go0os windows - 1kgoos_pLan9 


基于 同样 的 性 能 考虑 (无 锁 分 配 ) ， 栈 空间 被 缓存 在 Cache.stackcache 数组 ， 且 使 用 方法 
和 object 基本 相同 。 


mcache.go 


type mcache struct { 
stackcache [_NumStackOrders]lstackfreelist 


type stackfreelist struct { 
sce kote/ /nked einireesstaeks 
sze Unmet WtokolS zesolstacKks unmask 


在 获取 栈 空间 时 ， 优 先 检 查 缓存 链表 。 大 空间 直接 从 heap 分 配 。 


malloc.go 


Eeenaordueneskackesegnent eaeneESzes 
_StackCacheSize = 32 * 1024 


Stack1.go 


func stackalloc(n uint32) (stack, []stkbar) { 
var v unsafe.Pointer 


// 检查 是 否 从 缓存 分 配 。 

if stackCache != 0 && n < _FixedStack<< NumStackOrders && n < _StackCacheSize { 
// 计算 order 等 级 。 
order := uint8(0) 


N20 := 

for n2 > _FixedStack { 
order++ 
Nn2" SS=° 1 

} 


var x gclinkptr 
c := thisg.m.mcache 


// 从 对 应 链表 提取 复 用 空间 。 
x = cstackcache[order] .List 


// 提取 失败 ， 扩 容 后 重 试 。 

if x.ptr() == nil { 
stackcacherefill(c, order) 
x = c.stackcache[lorder]. list 


// 调整 缓存 链表 。 
cstackcache[order]l,List = x.ptr().next 
custackcache[order]l.size -= uintptr(n) 


v = (unsafe,.Pointer) (x) 
} else { 
// 大 空间 直接 从 heap 分 配 。 
s := mHeap_AllocStack(&mheap_, round(uintptr(n), _PageSize)>>_PageShift) 
v = (unsafe.Pointer)(s.start << _PageShift) 





top := uintptr(n) - nstkbar 
stkbarSlice := slice{add(v, top), 0, maxstkbar} 
return stack{uintptr(v), uintptr(v) + top}, *(*[]stkbar) (unsafe.Pointer(&stkbarSlice)) 


这 个 函数 代码 删除 较 多 ， 主 要 是 为 了 不 影响 阅读 。stackpoolalloc 下 面 一 样 会 有 介绍 。 


和 前 文 内 存 分 配器 的 做 法 很 像 不 是 吗 ” 我 们 继续 看 看 如 何 扩容 。 


Stack1.go 


func stackcacherefill(c x*mcache, order uint8) { 
Ya SEO 
var size uintptr 


// 提取 一 批复 用 空间 。 
for size < StackCacheSize/2 { 
WH 


x := stackpoolalloc(order) 
> (One te st 
list = x 


size += _FixedStack << order 


// 保存 到 cache.stackcache 数组 。 
c.Sstackcache[lorder].list = list 
c.stackcache[lorder].size = size 


有 个 全 局 缓存 stackpool 似乎 在 充当 central 的 角色 。 


stackl.go 
var stackpool [NumStackorders]mspan 


func stackpoolalloc(order uint8) gclinkptr { 
// 尝试 从 全 局 缓存 获取 。 
List := &stackpool[order] 
Ss := list.next 





// 重新 从 heap 获取 span 切 分 。 
ss 
s = mHeap_AllocStack(&mheap_, _StackCacheSize>>_PageShift) 
for i := uintptr(0); i < _StackCacheSize; i += _FixedStack << order { 
Xenmkpt (unten tor Mpageshar te pe) 
x.ptr().next = s,.freelist 
Secs = 














上 

mSpanList_Insert(list, s) 
上 
// 从 链表 返回 一 个 空间 。 
XS eennst 


s.freelist = x.ptr().next 
So nas 


// 如 果 当 前 链表 已 空 ， 则 移 除 span。 
nf freenstentr == ml 
// all stacks in s are allocated. 





mSpanList_Remove(s) 


} 


RE 此 内 由 带头 


从 heap 获取 span 的 过 程 没有 任何 惊喜 。 


mheap.go 


func mHeap_AllocStack(h *mheap, npage uintptr) x*mspan { 
s := mHeap_AllocSpanLocked(h, npage) 
te i A 
s.State = MSpanStack 
Shhneeltrst .=O0 
s.ref = 0 
上 


return s 


简单 总 结 一 下 : 栈 内 存 一 样 从 arena 区 域 分 配 ， 使 用 和 对 象 分 配 相 同 的 策略 和 算法 。 只 是 
我 有 些 不 明白 ， 这 东西 是 不 是 可 以 做 到 内 存 分 配 需 里 面 ” 还 是 说 为 了 以 后 修改 方便 才 独 立 
出 来 的 ? 





morestack 


执行 函数 前 ， 需 要 为 其 准备 好 所 需 栈 帧 空间 ， 此 时 是 检查 连续 栈 是 否 需要 扩容 的 最 佳 时 机 。 
为 此 ， 编 译 右 会 在 函数 头 部 插入 几 条 特殊 指令 ， 通 过 比较 stackguard0 和 SP 来 决定 是 否 进 
行 扩容 操作 。 
test.go 

package main 

func test() { 

println("hello") 
} 
func main() { 


test() 
} 


编译 (禁用 内 联 ) ， 反 汇编 。 


srgqoonbunlto goltads ee otesw testeado 
J go toolWopndump soemaamn ee test nestk 


TEXT main.test(SB) test.go 


IEeE SIES OO 0x2040 GS MOVQ G9:0x8a0，CX // 当前 6G。 
test.go:3 ”0x2049 CMPQ 0x10(CX)，SP // G+0x16 指向 g.stackguard0， 和 SP 比较 。 
test.go:3 ”0x204d JBE 0x2080 // 如 果 SP <= stackguard0， 则 跳 转 到 0x2080。 
es Bdoes 0x204f SUBQ $0x10, SP // 预 留 当前 栈 帧 空间 。 
test.go:4 0x2053 CALL runtime.printLock(SB) 
test.go:4 0x2058 LEAQ Q@x6b4f9(IP), BX 
test.go:4  Qx205f MOVQ BX, @(SP) 
test.go:4  Qx2063 MOVQ $0x5, Qx8(SP) 
test.go:4 0Qx206c CALL runtime.printstring(SB) 
test.go:4 0Qx2071 CALL runtime.printnl(SB) 
test.go:4 0x2076 CALL runtime.printunlock(SB) 
es Ego 0x207b ADDQ $0x10, SP 
test.go:5 QOx207f RET 
test.go:3 ”0x2080 CALL runtime.morestack_noctxt(SB) // 执行 morestack 扩容 。 
test.go:3 “0x2085 JMP main.test(SB) // 扩容 结束 后 ， 重 新 执行 当前 函数 。 
这 几 条 指令 很 简单 。 如 果 SP 指针 地 址 小 于 stackguard0 〈 栈 从 高 位 地 址 向 低位 分 配 ) ， 那 


今 
么 显然 已 经 沪 出 ， 这 就 需要 扩容 ， 否 则 当前 和 后 续 函 数 就 无 从 分 配 栈 帧 内 存 。 





细心 一 点 ， 你 会 发 现 CMP 指令 并 没 将 当前 栈 帧 所 需 空间 算 上 。 假 如 SP 大 于 stackguard0， 
但 相差 又 小 于 当前 栈 帧 大 小 呢 ?” 这 显然 不 会 跳 转 执行 扩容 操作 ， 但 又 不 能 满足 当前 函数 需 
求 ， 只 能 眼看 着 堆栈 溢出 ? 


我 们 知道 在 stack.lo 和 stackguard0 之 间 尚 有 部 分 保留 空间 ， 所 以 适当 溢出 是 允许 的 。 


Stack2.go 
// After a stack split check the SP is allowed to be this many bytes below the stack guard. 


Winasesaves anmimsuueonn neneekin unee tom iramnes 
otackSmal = 128 


修改 一 下 测试 代码 ， 看 看 效果 。 


test.go 


package main 


func test1() { 
var x [128]byte 
>< a 


fume est 
var x [129]byte 
> = 


func main() { 
test1() 
test2() 


sgonbuntad genltadgsme Le Omesntestoo 
sgontoouonnmdump so ma test rest 


TEXT main.test1(SB) test.go 
test.go:3 0x2040 GS MOVQ GS:0x8a0，CX 
test.go:3 ”0x2049 CMPQ 0x10(CX)，SP // 当前 栈 帧 0x80 正好 是 128。 
上 Estee do 0x204d JBE 0x206e 
test.go:3 ”0x204f SUBQ $0x80, SP 


TEXT main.test2(SB) test.go 
test.go:8 0x2080 GS MOVQ G9:0x8a0，CX 


test.go:8 0x2089 LEAQ -0x8(SP), AX // 当前 栈 帧 0x88 - 128 = 0x8， 适 当 调 整 SP 后 再 比较 。 
test.go:8 0Qx208e CMPQ 0x10(CX) ，AX 

es dod 0x2092 JBE 0x20b5 

test.go:8 0x2094 SUBQ $0x88, SP 


很 显然 ， 如 果 当 前 栈 帧 是 SmallStack (0x80) ,那么 就 允许 在 [lo, stackguard0] 之 间 分 配 。 


对 栈 扩容 并 不 是 件 容 易 的 事情 ， 其 中 涉及 很 多 内 容 。 不 过 呢 ， 在 这 里 我 们 只 需 了 解 其 基本 
过 程 和 算法 意图 ， 无 须 深入 到 所 有 细节 。 


asm_amd064.s 


TEXT runtime:morestack noctxt(SB),NOSPLIT, $0 
MOVL $0, DX 
JMP runtime'morestack(SB) 


TEXT runtime:morestack(SB),NOSPLIT, $0-0 
// Call newstack on m->g0's stack. 
MOVQ  m_g0(BX), BX 
MOVQ BX, g(CX) 

MOVQ (g_sched+gobuf_sp) (BX), SP 


CAE runtime'newstack(SB) 
MOVQ $0, 0x1003 // crash if newstack returns 
RE 


基本 过 程 就 是 分 配 一 个 2x 大 小 的 新 栈 ， 然 后 将 数据 捞 贝 过 去 ， 替 换 掉 旧 栈 。 当 然 ， 这 期 
间 需 要 对 指针 等 内 容 做 些 调整 。 


Stack1.go 


func newstack() { 
ES 三 本 Je 可 全 
gp := 0 ths gamacurg 


// 调整 执行 现场 记录 。 
rewindmorestack(&gp.sched) 


casgstatus(gp, _Grunning, _Gwaiting) 
gp.waitreason = "stack growth" 


sp := gp.sched.sp 


V2 
oldsize := int(gp.stackAlloc) 
newsize® .=oldsize*2 


casgstatus(gp, _Gwaiting, _Gcopystack) 


// 拷贝 栈 数据 后 切换 到 新 栈 。 
copystack(gp, uintptr(newsize)) 


// 恢复 执行 。 
casgstatus(gp, _Gcopystack, _Grunning) 
gogo(&gp.sched) 


func copystack(gp *g, newsize uintptr) { 
old := gp.stack 
UsedEE on dpbsschmedEsh 


// 从 缓存 或 堆 分 配 新 栈 空 间 。 
new, newstkbar := stackalloc(uint32(newsize)) 


// 清 零 。 
if stackPoisonCopy != 0 { 
fillstack(new, Qxfd) 


// 调整 指针 等 操作 ..， 


// 拷贝 数据 到 新 栈 空 间 。 
memmove(unsafe.Pointer(new.hi-used)，unsafe.Pointer(oLd.hi-used)，used) 


// 切换 到 新 栈 。 

gp.stack = new 

gp.stackguard0 = new.lo + _StackGuard 
gp.sched.sp = new.hi - used 

oldsize := gp.stackAlloc 
gp.stackAlloc = newsize 

gp.stkbar = newstkbar 


// 将 旧 栈 清 零 后 释放 。 
if stackPoisonCopy != 0 { 
fillstack(old, QOxfc) 


b 
stackfree(old, oldsize) 
小 
stackfree 


释放 栈 空间 的 操作 ， 依 旧 与 回收 object 类 似 。 


stack1l.go 


func stackfree(stk stack, n uintptr) { 
gp := getg() 
v := (unsafe.Pointer)(stk.Lo) 


// 放 回 缓存 链表 。 

if stackCache != 0 && n < _ FixedStack<<_NumStackorders && n < _StackCacheSize { 
// 计算 order 等 级 。 
order := uint8(0) 





M2 = 

for n2 > _FixedStack { 
order++ 
1 

x := gclinkptr(v) 


gp.m.mcache 


// 如 果 缓 存 大 小 超出 限制 ， 则 释放 一 些 。 
if c,.stackcache[order].size >= _StackCacheSize { 
stackcacherelease(c, order) 





// 放 回 缓存 链表 。 
x.ptr().next = c.stackcache[order]. list 
c.stackcache[lorder].list = x 


口 











custackcache[order]l.size += nN 
} else { 

s := mHeap_Lookup(&mheap_, v) 

if gcphase == GCoff 4 


// 归还 给 heap。 
mHeap_FreeStack(&mheap_, s) 
} else { 
// 如 果 正 在 垃圾 回收 期 间 ， 那 么 放 到 一 个 待 处 理 队 列 ， 由 垃圾 回收 器 处 理 。 
mSpanList_Insert(&stackFreeQueue, 5s) 


回收 的 栈 空间 被 放 回 对 应 复 用 链表 。 如 缓存 过 多 ， 则 转移 一 批 到 全 局 链表 ， 或 直接 将 自由 
的 span 归还 给 heap。 


func stackcacherelease(c *mcache, order uint8) { 
x := c.stackcache[order].List 
size := Cc.stackcache[order].size 


// 如 果 当 前 链表 过 大 ， 则 释放 一 半 。 
for size > _StackCacheSize/2 { 
VX DE next 


// 每 次 释放 一 个 ， 它 们 可 能 属于 不 同 的 span。 
stackpoolfree(x, order) 


X=aYy 
size ee =xedStacke = 0rder 


c.Sstackcache[lorder].list = x 
c.stackcache[lorder].size = size 


func stackpoolfree(x gclinkptr, order uint8) { 
// 找到 所 属 span。 
s := mhHeap_Lookup(Smheap_，(unsafe.Pointer)(x)) 
Tee ett == 
mSpanList_Insert(&stackpool[lorder], s) 





// 添加 到 span.freeList。 
x.ptr().next = s.freelist 
s.freelist = x 

SAE 


// 如 果 该 span 已 收回 全 部 空间 ， 那 么 将 其 归还 给 heap。 
gephase -Georr Snel = 0 
mSpanList_ Remove(s) 
setreemst = 
mHeap_FreeStack(&mheap_, s) 


除 morestack 调用 导致 stackfree 操作 外 ， 另 一 原因 就 是 垃圾 回收 对 栈 空间 的 收缩 处 理 。 


mgcmatk.go 


func markroot(desc x*parfor, i uint32) { 


Switch i { 
case _RootFlushCaches: 
if gcphase != _GCscan { 
flushallmcaches() 
J 
default: 
if gcphase == _GCmarktermination { 
shrinkstack(gp) 
本 
上 
上 
mstats.go 


func flushallmcaches() { 


TO Me OP a 
0 0 A ol 
6 = pmeacne 


mCache_ReleaseAll(c) 
stackcache_clear(c) 


mgc.go 


func gcMark(start time int64) { 
freeStackSpans() 


因 垃 圾 回收 需要 ，stackcache_clear 会 将 所 有 cache 缓存 的 栈 空间 归还 给 全 局 或 heap。 


stackl.go 


func stackcache clear(c x*mcache) { 
for order := Uint8(0); order < NumStackOrders; order++ { 
x := Cc.stackcache[order]. list 
OW (0) 
VE =X Dt (next 
stackpoolfree(x, order) 
x=y 


ll 
S 


c.stackcache[order]. list 


ll 
S 


c.stackcache[lorder].size 


而 shrinkstack 主要 目的 是 收缩 那些 兽 经 扩容 的 栈 空间 ， 以 节约 内 存 。 


func shrinkstack(gp *g) { 
if readgstatus(gp) == _Gdead { 
no tacKnton 0 

// 回收 6G 的 栈 空间 ， 重 新 使 用 前 会 为 其 补 上 。 
stackfree(gp.stack, gp.stackAlloc) 
gpsstacks lo=°0 
gp.stack.hi = 0 
gpestkbar = nal 
gp.stkbarPos = 0 





} 


return 


// 收缩 目标 是 一 半 大 小 。 
oldsize := gp.stackAlloc 
Newsuze := Oldsalzen/ 2 





if newsize < FixedStack { 
return 


// 如 果 使 用 空间 超过 1/4， 则 不 收缩 。 

avVa = adpsstackesnaa “gpsstackalo 

if used := gp.stack.hi - gp.sched.sp + _StackLimit; used >= avail/4 { 
return 


// 用 较 小 的 栈 蔡 换 。 

oldstatus := casgcopystack(gp) 
copystack(gp, newsize) 

casgstatus(gp, _Gcopystack, oldstatus) 


最 后 就 是 freeStackSpans ， 它 扫描 全 局 队列 stackpool 和 和 暂 存 队列 stackFreeQueue， 将 那些 
空间 已 完全 收回 的 span 交还 给 heap。 





stackl.go 


func freeStackSpans() { 
for order := range stackpool { 
List := &stackpool[order] 
for no = litanext Ss = List 
next := s.next 


yn (a 
mSpanList_Remove(s) 
sefreewst = 0 
mHeap_FreeStack(&mheap_, s) 


上 
s = next 
上 
上 
for stackFreeQueue.next != &stackFreeQueue { 
Ss- = tackireeQueuenext 
mSpanList_Remove(s) 
mHeap_FreeStack(&mheap_, s) 
上 


另外 ,调整 了 数量 的 procresize， 将 任务 完成 的 G 对 象 放 回 复 用 链表 的 gfput 同样 会 引发 
栈 空 间 释放 操作 。 只 是 流程 和 上 述 基 本 类 似 ， 不 再 更 述 。 


运行 时 三 大 核心 组 件 之 间 ， 相 互 纠缠 太 多 太 细 ， 已 无 从 划分 边界 ， 我 个 人 觉得 这 并 不 是 什么 好 主 
意 。 诚 然 为 了 性 能 ， 很 多 地 方 直接 植 入 代码 ， 而 非 通过 消息 或 接口 隔离 等 方式 封装 ， 但 随 着 各 部 
件 复 杂 度 和 规模 的 提升 ， 其 可 维护 性 也 必然 降低 。 不 知道 开发 团队 对 此 有 什么 具体 的 想法 。 








7. 系统 调用 


为 支持 并 发 调度 ， 专 门 对 syscall、cgo 进行 了 包装 ， 以 便 在 长 时 间 阻 塞 时 能 切换 执行 其 他 
任务 。 标 准 库 syscall 包 里 ， 将 相关 系统 调用 函数 分 为 Syscall 和 RawSyscall 两 类 。 


src/syscall/zsyscall_linux_amd64.s 
func Getcwd(buf []byte) (n int, err error) { 
ro, _, el := Syscall(SYS_GETCWD, uintptr(_p0), uintptr(len(buf)), 0) 
上 
func EpoLLCreate(size int) (fd int, err error) { 


PO el RawSySseall(SYS EPORNGREANRE UTNEtDEr (Le 0 0 
上 


让 我 们 看 看 这 两 者 有 什么 区 别 。 


src/syscall/asm_linux_amd64.s 


TEXT :Syscall(SB),NOSPLIT, $0-56 


SAEE runtime'entersyscaLL(SB) 


MOVQ trap+t0O(FP) ，AX // syscall entry 
SYSCALL 

ES ok 

CALL runtime'exitsyscaLL(SB) 

RET 


ok: 
CALL runtime.:exitsyscall(SB) 
RET 


TEXT :RawSyscall(SB),NOSPLIT, $0-56 


MOVQ trap+0 (FP), AX // syscall entry 
SYSCABE 
JLS ok1 
RET 
OK 
RET 


最 大 的 不 同 在 于 Syscall 增加 了 entrysyscall/exitsyscall， 这 就 是 允许 调度 的 关键 所 在 。 


procl.go 


func entersyscall(dummy int32) { 
reentersyscall(getcallerpc(unsafe.Pointer(&dummy)), getcallersp(unsafe,.Pointer(&dummy))) 


func reentersyscall(pc, sp uintptr) { 
2 se gril 


// 保存 执行 现场 。 
save(pc, sp) 


guesyscallsp =0sp 
gsSyscallpe => pe 
casgstatus(_g_, _Grunning, _Gsyscall) 


// 确保 sysmon 运行 。 

if atomicload(&sched.sysmonwait) != 0 { 
systemstack(entersyscall_sysmon) 
save(pc, sp) 


// 设置 相关 状态 。 

mesys coal eck omamap yt ys 
eqn svsblocktinaced eue 

gmemmoacnes = 

De lo Ea) 

atomicstore(& g_.m.p.ptr().status, _Psyscall) 


监控 线程 ysmon 对 syscall 非常 重要 ， 因 为 它 负责 将 因 系统 调用 而 长 时 间 阻 塞 的 P 抢 回 ， 
用 于 执行 其 他 任务 。 否 则 ， 整 体 性 能 会 严重 下 降 ， 甚 至 整个 进程 被 冻结 。 


procl.go 


func entersyscall_sysmon() { 
if atomicload(&sched.sysmonwait) != 0 { 
atomicstore(&sched.sysmonwait, 0) 
notewakeup(&sched.sysmonnote) 





某 些 系统 调用 本 身 就 可 以 确定 长 时 间 阻 塞 〈 比 如 锁 ) ， 那 么 它 会 选择 执行 entersyscallblock 
主动 交 出 所 关联 的 P。 


procl.go 


func entersyscallblock(dummy int32) { 
casgstatus(_g_, _Grunning, _Gsyscall) 
systemstack(entersyscallblock_handoff) 


func entersyscallblock_handoff() { 
// 释放 P， 让 它 去 执行 其 他 任务 。 
handoffp(releasep()) 





func handoffp(_p_ x*p) { 
// 如 果 P 本 地 或 全 局 有 任务 ， 直 接 唤醒 某 个 M 开始 工作 。 
if !runqempty(_p_) || sched.runqsize != 0 1{ 











startm(_p_, false) 
return 





// 没有 任务 就 放 回 空闲 队列 。 
pidleput(_p_) 














从 系统 调用 返回 时 ， 必 须 检 查 了 是 否 依 然 可 用 ， 因 为 可 能 已 被 sysmon 抢 走 。 


procl.go 


func exitsyscall(dummy int32) { 
_9_ := getg() 
(lols) = os eNet) 


if exitsyscallfast() { 
casgstatus(_g_, _Gsyscall, _Grunning) 
return 


mcall(exitsyscall0) 








快速 退出 exitsyscallfast 是 指 能 重新 绑 定 原 有 或 空闲 的 P， 以 继续 当前 G 任务 执行 。 


procl.go 


func exitsyscallfast() bool { 
_9g_ := getg() 


// STW 状态 ， 就 不 要 继续 了 。 

if sched.stopwait == freezeStopWait { 
om mmeacnes = 
gamap = 0 
lelalse 


// 尝试 关联 原本 的 P。 


nna 0 St om mp tntaus yoann 
cas(& g_.m.p.ptr().status, _Psyscall, _Prunning) { 
_g_.m.mcache = _g_.m.p.ptr().mcache 


_g_.m.p.ptr().m.set(_g_.m) 
el enue 


// 获取 其 他 空闲 P。 
Old :onan ot 
gmammeacner = nl 
gmap se 0O 
if sched.pidle != 0 1{ 
var ok bool 
systemstack(func() { 
ok = exitsyscallfast_pidle() 
本 
OK 
return true 


} 


return false 


func exitsyscallfast pidle() bool { 


_p_ := pidleget() 


// 唤醒 sysmon。 
if p_ != nil && atomicload(&sched.sysmonwait) != 0 { 


atomicstore(&sched.sysmonwait，0) 
notewakeup(&sched.sysmonnote) 


上 

// 重新 关联 。 

ty oe on 
acquirep(_p_) 
return true 

上 


return false 


如 果 多 次 尝试 绑 定 P 失败 ， 那 么 只 能 将 当前 任务 放 入 待 运行 队列 。 


procl.go 


func exitsyscall@(gp *g) { 
ou — getd() 


// 修改 状态 ， 解 除 和 M 的 关联 。 
casgstatus(gp, _Gsyscall, _Grunnable) 


dropg() 


// 再 次 获取 空闲 P。 


_p_ := pidleget() 

DN 
// 获取 失败 ， 放 回 全 局 任务 队列 。 
globrunqput (gp) 

} else if atomicload(&sched.sysmonwait) != 0 { 


atomicstore(&sched.sysmonwait, 0) 
notewakeup(&sched.sysmonnote) 


// 再 次 检查 P， 以 便 执行 当前 任务 。 
3 or MA 
acquirep(_p_) 
execute(gp, false) // Never returns. 


// 关联 P 失败 ， 休 眠 当前 M。 
stopm() 
schedule() // Never returns. 


需要 注意 ，cgo 使 用 了 相同 的 封装 方式 ， 因 为 它 同样 不 受 调度 占 管 理 。 


cgocall.go 


func cgocall(fn, arg unsafe,.Pointer) int32 { 


* Announce we are entering a System call 

* SO that the scheduler knows to create another M to run goroutines while we are in 
* the foreign code. 

* 

* The call to asmcgocall is guaranteed not to split the stack and does not allocate 
* memory, so it is safe to call while "in a System call", outside the $GOMAXPROCS 

* accounting. 

*/ 

entersyscall(0) 

errno := asmcgocall(fn, arg) 

exitsyscall(0) 


大 jy 
8. 监控 
系统 监控 线程 我 们 在 前 面 已 经 介绍 过 好 几 回 了 ， 现 在 对 它 做 个 总 结 。 


。 释放 闲置 超过 5 分 钟 的 span 物理 内 存 。 

。 如 果 超 过 2 分 钟 没 有 垃圾 回收 ， 强 制 执行 。 

。 将 长 时 间 未 处 理 的 netpoll 结果 添加 到 任务 队列 。 
。 疝 长 时 间 运 行 的 G 任务 发 出 抢占 调度 。 

。 收回 因 syscall 长 时 间 阻 塞 的 P。 


在 进入 垃圾 回收 状态 时 ，sysmon 会 自动 进入 休眠 ， 所 以 我 们 才 会 在 syscall 里 看 到 很 多 唤 
醒 指令 。 另 外 ，startTheWorld 也 会 做 唤醒 处 理 。 保 证 监控 线程 正常 运行 ， 对 内 存 分 配 、 
垃圾 回收 和 并 发 调度 都 非常 重要 。 


procl.go 
func startTheWorldWithSema() { 
sched.gcwaiting = 0 
if sched.sysmonwait != 0 { 


sched.sysmonwait = 0 
notewakeup(&sched.sysmonnote) 


现在 ， 让 我 们 忽略 其 他 任务 ， 看 看 对 syscall 和 Preempt 的 处 理 。 


procl.go 


func sysmon() { 


TO 
usleep(delay) 


// STW 时 休眠 sysmon。 
if debug.schedtrace <= 0 && 
(sched.gcwaiting != 0 || atomicload(&sched.npidle) == uint32(gomaxprocs)) + 
if atomicload(&sched.gcwaiting) != 0 || 
atomicload(&sched.npidle) == uint32(gomaxprocs) { 

// 设置 休眠 标志 ， 休 有 眠 (有 个 超时 ， 苏 醒 保 障 ) 。 
atomicstore(&sched.sysmonwait, 1) 
notetsleep(&sched.sysmonnote, maxsleep) 





// 唤醒 后 重 置 状态 标志 ， 继 续 执 行 。 
atomicstore(&sched.sysmonwait, 0) 
noteclear(&sched,.sysmonnote) 


lastpoll := int64(atomicload64(&sched. lastpoll)) 
now := nanotime() 
unixnow := unixnanotime() 


// 获取 超过 10ms 的 netpoll 结 
if lastpoll != 0 && lastpoll+10*1000*1000 < now { 
cas64(&sched,. lastpoll, uint64(lastpoll), uint64(now)) 
gp := netpoll(false) // non-blocking =- returns List of goroutines 
a ol de 
injectglist(gp) 


// 抢夺 syscall 长 时 间 阻塞 的 P。 
// 向 长 时 间 运 行 的 G 发 出 抢占 调度 。 
if retake(now) != 0 { 

idle = 0 
} elLse { 

idLe++ 


专门 有 个 pdesc 的 全 局 变量 用 于 保存 sysmon 运行 统计 信息 ， 据 此 来 判断 syscall 和 G 是 否 
超时 。 


procl.go 


var pdesc [_MaxGomaxprocs]struct { 
schedtick uint32 
schedwhen int64 
syscalltick uint32 
syscallwhen int64 


const forcePreemptNS = 10 * 1000 * 1000 // 10ms 


func retake(now int64) uint32 { 


// 遍历 P。 

ome = ntSZ(0) 1 < omaxpnocs i 
ro = a idl 
pd := &pdesc[il] 
Sm. = Stoels 


// P 处 于 syscall 模式 。 
fs == pSVYS Can 
// 更 新 syscall 统计 信息 。 
tinte4( pesyscatltiek) 
qs dds ys eo El tl 
pd.syscalltick = uint32(t) 
pd.syscallwhen = now 
continue 


// 检查 是 否 有 其 他 任务 需要 P， 是 否 超出 时 间 限制 (2 tick，20us) ， 是 否 有 必要 抢夺 P。 

if runqempty(_p_) && 
atomicload(&sched.nmspinning)+atomicload(&sched.npidle) > 0 && 
pd.syscallwhen+10*1000*1000 > now { 


Continue 


// 抢夺 P。 

if cas(& p_.status, s, _Pidle) { 
SYscallttreKkre 
handoffp(_p_) 

上 

ele Tf eo Pnunnamng 

// 更 新 G 运行 统计 信息 。 

ntod(mp sehnederek) 

if int64(pd.schedtick) != tt 
pdesenedtlek =m unts2() 
pd.schedwhen = now 
continue 


// 如 果 没 超过 10ms， 则 忽略 。 
if pd,schedwhen+forcePreemptNS > now { 
continue 


// 发 出 抢占 调度 。 
preemptone(_p_) 


抢占 调度 


所 谓 抢占 调度 要 比 你 想象 的 简单 许多 ， 远 不 是 你 以 为 的 抢占 式 多 任务 操作 系统 那 种 样子 。 
因为 Golang 调度 需 并 没有 真正 意义 上 的 时 间 片 概念 ， 只 是 在 目标 G 上 设置 一 个 抢占 标志 ， 
当 该 任务 调用 某 个 函数 时 ， 被 编译 器 安插 的 指令 就 会 检查 这 个 标志 ， 从 而 决定 是 否 暂 停 当 
前 任务 。 


procl.go 


/0 
Oh 
Yh 
0 
YA 
ya 
Yh 
0 
Ah 


Tell the goroutine running on processor P to stop. 

mssetuneltionnmise ul vest effontmL can ineonrrectty nian to nfionrmee 
goroutine. It can send inform the wrong goroutine. Even if it informs the 
Corpectgoroutnme ao on mr en nenne ss 
simultaneously executing newstack. 

Nomloekneeds to beshekade 

Returns true if preemption request was issued., 


The actual preemption will happen at some point in the future 
and will be indicated by the gp->status no longer being 
Grunning 
func preemptone(_p_ *p) bool { 
ms.—= Dn (ed 
gb Smpacubg 


gp.preempt = true 


-Evenry calinear gonnommner ehnecks tor stack overttow by 
// comparing the current stack pointer to gp->stackguard0， 
// Setting gp->stackguard6 to StackPreempt folds 

// preemption into the normal stack overflow check. 
gp.stackguard6 = stackPreempt 

return true 


保留 这 段 代码 里 的 注释 ， 只 是 告诉 你 ，preempt 真 的 有 些 不 靠 谱 。 





有 两 个 标志 ， 实 际 起 作用 的 是 G.stackguard0。G.preempt 只 是 后 备 ， 以 便 在 stackguard0 
做 回 溢出 检查 标志 时 ， 依 然 可 用 preempt 恢复 抢占 状态 。 


编译 峰 插入 的 指令 ? 没 错 ， 就 是 那个 morestack。 当 它 调用 newstack 扩容 时 会 检查 抢占 标 
志 ， 并 决定 是 否 暂 停 当 前 任务 ， 当 然 这 发 生 在 实际 扩容 之 前 。 





stack1l.go 


func newstack() { 


preempt := atomicloaduintptr(&gp.stackguard@) == stackPreempt 


if preempt + 


// 如 果 M 持 有 锁 ， 或 者 正在 进行 内 存 分 配 、 垃 圾 回收 等 操作 ， 不 抢占 ， 留 待 下 次 。 
if thisg.m.locks != 0 || thisg.m.mallocing != 0 || 
hsosmapreemptomf = lhasomapapl totusn pr unm 
// stackguard@ 恢复 溢出 检查 用 途 ， 下 次 用 G.preempt 恢复 。 
gp.stackguard0 = gp.stack.lo + _StackGuard 
gogo(&gp.sched) // never return 


if preempt { 
// 垃圾 回收 本 身 也 算 一 次 抢占 ， 忽 略 本 次 抢占 调度 。 
if gp.preemptscan { 
for !castogscanstatus(gp, _Gwaiting, _Gscanwaiting) { 

// Likely to be racing with the GC as 
// it sees a _Gwaiting and does the 
// stack scan. If so, gcworkdone will 
// be set and gcphasework will simply 


et 

上 

if !gp.gcscandone { 
scanstack(gp) 
gp.gcscandone = true 

上 


gp.preemptscan = false 

gp.preempt = false 

casfrom Gscanstatus(gp, _Gscanwaiting, _Gwaiting) 
casgstatus(gp, _Gwaiting, _Grunning) 
gp.stackguard0 = gp.stack.lo + _StackGuard 
gogo(&gp.sched) // never return 


// 开始 抢占 调度 ， 将 当前 G 放 回 队列 ， 让 M 执行 其 他 任务 。 
casgstatus(gp，_Gwaiting，_Grunning) 
gopreempt_m(gp) // never return 


// Allocate a bigger segment and move the stack. 
copystack(gp, uintptr(newsize)) 
gogo(&gp. sched) 


procl.go 


func gopreempt m(gp *g) { 
goschedImpL(gp) 


func goschedImpL(gp *g) { 
status := readgstatus(gp) 
casgstatus(gp, _Grunning, _Grunnable) 
dropg() 
globrunqput (gp) 


schedule() 


这 个 抢占 调度 机 制 给 我 的 感觉 是 越 来 越 弱 ， 毕 竟 垃 圾 回收 和 栈 扩 容 这 个 时 机 都 不 是 很 确定 和 “ 实 
时 ”。 更 何况 还 有 函数 内 联 和 纯 算法 循环 等 造成 morestack 不 会 执行 因素 。 不 知道 对 此 后 续 版 本 
会 有 何 改进 。 


9. 其 他 


与 任务 执行 有 关 的 几 种 暂停 操作 。 


Gosched 


可 被 用 户 调 用 的 runtime.Gosched 将 当前 G 任务 暂停 ， 重新 放 回 全 局 队列 ， 让 出 当前 M 去 
执行 其 他 任务 。 我 们 无 需 对 G 做 唤醒 操作 ， 因 为 总 归 会 被 某 个 M 重新 拿 到 ， 并 从 “ 断 点 ” 


btoc.go 


func Gosched() { 
mcall(gosched_m) 


} 


procl.go 


func gosched m(gp #g) { 
goschedImpL(gp) 
二 


func goschedImpL(gp *g) { 
// 重 置 属性 。 
casgstatus(gp, _Grunning, _Grunnable) 
dropg() 





// 将 当前 G 放 回 全 局 队列 。 
globrunqput (gp) 





// 重新 调度 执行 其 他 任务 。 
schedule() 


Tlnien Tollol oe yat 
_9g_ := getg() 


TnLockedogn na 
gmeurgeme emnal 
SoBe meeunge onl 





实现 “ 断 点 恢复 ”的 关键 由 mcall 实现 ， 它 将 当前 执行 状态 ， 包 括 SP、PC 寄存 器 等 值 保存 
到 G.sched 区 域 。 


asm_amd064.s 


TEXT runtime:mcall(SB), NOSPLIT, $0-8 
MOVQ fn+0(FP), DI 


get_tls(CX) 

MOVQ OUGXJREAX // save state in g->sched 
MOVQ 0(SP), BX // caller's PC 

MOVQ BX, (g_sched+gobuf_pc) (AX) 

LEAQ fn+0(FP), BX // caller's SP 


MOVQ BX, (g_sched+gobuf_sp) (AX) 
MOVQ AX, (g_sched+gobuf_g)(AX) 
MOVQ BP, (g_sched+gobuf_bp) (AX) 


// Switch to m->g0 & its stack, call fn 


当 execute/gogo 再 次 执行 该 任务 时 ， 自 然 可 从 中 恢复 状态 。 反 正 执行 栈 是 G 自 带 的 , 不 
用 担心 执行 数据 丢失 。 


gopatk 


与 Gosched 最 大 的 区 别 在 于 ，gopark 并 没 将 G 放 回 待 运行 队列 。 也 就 是 说 ， 必 须 主动 恢 
复 ， 否 则 该 任务 会 遗失 。 


btoc.go 
func gopark(unlockf func(kg，unsafe.Pointer) bool, lock unsafe.Pointer, reason string, ...) { 
mp := acquirem() 
gp = mpaeud 


mp.waitlock = lock 
mp.waitunlockf = *(*unsafe,.Pointer) (unsafe.Pointer(&unlockf)) 
gp.waitreason = reason 


mp.waittraceev = traceEv 
mp.waittraceskip = traceskip 
releasem(mp) 


mcall(park_m) 


同样 是 由 mcall 保存 执行 状态 ， 还 有 个 unlockf 作为 暂停 判断 条 件 。 


procl.go 


func park_m(gp #g) { 
:= getq'() 


// 重 置 属性 。 
casgstatus(gp, _Grunning, _Gwaiting) 
dropg() 





// 执行 解锁 图 数 。 如 果 返 回 false， 则 恢复 执行 。 
if g_.m.waitunlockf != nil { 











fn := *(*func(x*g, unsafe.Pointer) bool)(unsafe.Pointer(& g_.m.waitunlockf)) 
OK fn(op gn moatoek) 
gmawadtunlocekf =>nal 
gm mwaltlock = na 
i rel 
casgstatus(gp, _Gwaiting, _Grunnable) 
execute(gp, true) // Schedule it back, never returns. 


// 调度 执行 其 他 任务 。 
schedule() 


与 之 配套 ，goready 用 于 恢复 执行 ，G 被 放 回 优先 级 最 高 的 P.runnext。 


btoc.go 


func goready(gp *g, traceskip int) { 
systemstack(func() { 
ready(gp, traceskip) 
bl) 


procl.go 


func ready(gp *g, traceskip int) { 
// 修正 状态 ， 重 新 放 回 本 地 runnext。 
casgstatus(gp, _Gwaiting, _Grunnable) 
runaqpwt(eom ma tr dD rued 





notesleep 


相 比 gosched、gopark， 反 应 更 敏捷 的 notesleep 既 不 让 出 M， 也 就 不 会 让 G 重 回 任务 队列 。 
它 直接 让 线程 休眠 直到 被 唤醒 ， 更 适合 stopm、gcMark 这 类 近似 自 旋 的 场景 。 


在 linux、dragonfly、freebsd 平台 ，nhotesleep 是 基于 futex 的 高 性 能 实现 。 


Futex 通常 称 作 “快速 用 户 区 互 斥 ”， 是 一 种 在 用 户 空 间 实 现 的 锁 〈 互 斥 ) 机 制 。 多 执行 单位 〈 进 
程 或 线程 ) 通过 共享 同一 快 内 存 (整数 ) 来 实现 等 待 和 唤醒 操作 。 因 为 Futex 只 在 操作 结果 不 一 
致 时 才 进 入 内 核 仲裁 ， 所 以 有 非常 高 的 执行 效率 。 


更 多 内 容 请 参考 man 2 futex。 


funtime2.go 


type m struct { 
park note 


} 


type note struct { 
// Futex-based impl treats it as uint32 key, while sema-based impl as Mk waitm. 
key uintptr 


围绕 note.key 值 来 处 理 休眠 和 唤醒 操作 。 


lock_futex.go 


func notesleep(n *note) { 
gp := getg() 


for atomicload(key32(&n.key)) == 0 1{ 
gp-m:blocked =" true 
futexsleep(key32(&n,.key), 0, -1) // 检查 n.key == 0， 休 有 眠 。 
gp.m.blocked = false // 唤醒 后 n.key == 1。 


func notewakeup(n *note) { 
// 如 果 01ld != 0， 表 示 已 经 执行 过 唤醒 操作 。 
old := xchg(key32(&n.key), 1) 
a one) ef 
throw("notewakeup - double wakeup") 


// 唤醒 后 n.key == 1。 
futexwakeup(key32(&n.key), 1) 


// 重 置 休眠 条 件 。 
func noteclear(n #note) { 
nkey = 0 


os1_linux.go 


func futexsleep(addr x*uint32, val uint32, ns int64) { 
var ts timespec 


// 不 超时 。 


a 
futex(unsafe.Pointer(addr), _FUTEX_WAIT, val, nil, nil, 0) 
return 

1 


ts.set_sec(ns / 1000000000 ) 
ts.set_nsec(int32(ns % 1000000000 ) ) 


// 如 果 futex_value == val， 则 进入 休眠 等 待 状态 ， 直 到 FUTEX_WAKE 或 超时 。 
futex(unsafe.Pointer(addr), _FUTEX WAIT, val, unsafe.Pointer(&ts), nil, 0) 


func futexwakeup(addr x*uint32, cnt uint32) { 
// 唤醒 cnt 个 等 待 单位 ， 这 会 设置 futex_value = 1。 
ret := futex(unsafe.Pointer(addr), _FUTEX WAKE, cnt, nil, nil, 0) 


其 他 不 支持 futex 的 darwin、windows 等 平台 ， 可 参阅 lock_sema.go 基于 semaphore 的 实现 。 


(Goexit 


用 户 可 调用 runtime.Goexit 立即 终止 G 任务 ,不 管 当前 处 于 调用 堆栈 的 哪个 层次 。 在 终止 
前 ， 它 确保 所 有 G.defer 被 执行 。 


panic.go 


func Goexit() { 
gp := getg() 
om ee 
d= apdeler 


freedefer(d) 
} 
goexit1() 


比较 有 趣 的 是 在 main goroutine 里 执行 Goexit， 它 会 等 待 其 他 goroutine 结束 后 才 会 朋 溃 。 


test.go 
package main 


import ( 
bw | | ie 
"runtime" 
"time" 


func main() { 
OP = 1 
go tunmelne mt) 
time.Sleep(time.Second * time.Duration(n+1)) 
fmt.Printf("G%d end.\n", n) 
(i 


println("Goexit.") 
runtime.Goexit() 
println("never execute.") 


Fgombunld omnestetest do ee /test 


Goexit. 
G0 end. 
G1 end. 
G2 end., 


fatal error: no goroutines (main called runtime.Goexit) =- deadlock! 
runtime stack: 


runtime,throw(0x52cdco，0x36) 
/usr/local/go/src/runtime/panic.go:527 +0x90 


runtime.checkdead() 
Ws/Alocal/ ose m enrol 200 Ox 
runtime.mput (0xc82002a900) 
/usr/local/go/src/runtime/procl.go:3268 +0x46 
runtime. stopm() 
/usr/local/go/src/runtime/procl.go:1126 +0xdd 
runtime,.findrunnabLe(0xc82001c000，0x0 ) 
/usr/local/go/src/runtime/procl.go:1530 +0x69e 
runtime.schedule() 
/usr/local/go/src/runtime/procl.go:1639 +0x267 
runtime.goexit0(0xc820001380 ) 
/usr/local/go/src/runtime/procl.go:1765 +0x1a2 
runtime.mcall(0x0) 
/usr/local/go/src/runtime/asm _ amd64.s:204 +0x5b 





stopTheWorld 
本 章 的 最 后 ， 我 们 看 看 导致 整个 进程 用 户 逻 辑 停 止 的 STW 是 如 何 实现 的 。 
用 户 逻 辑 暂 停 必 须 是 在 一 个 安全 点 上 ， 否 则 会 引发 很 多 意外 问题 。 因 此 ，stopTheWorld 同 


样 是 通过 “通知 ” 机制 ， 让 G 主动 停止 。 比 如 ,设置 “gcwaiting = 1 让 调度 函数 schedule 
主动 休眠 M; 向 所 有 正在 运行 的 G 任务 发 出 抢占 调度 ， 使 其 暂停 。 





procl.go 


func stopTheWorld(reason string) { 
semacquire(&worldsema, false) 
getg().m.preemptoff = reason 
systemstack(stopTheWorldWithSema) 


func stopTheWworldwithSema() { 
_9_ := getg() 
sched,.stopwait = gomaxprocs 


// 设置 停止 标志 ， 让 schedule 之 类 的 调用 主动 休眠 M。 
atomicstore(&sched.gcwaiting, 1) 





// 向 所 有 正在 运行 的 G 发 出 抢占 调度 。 
preemptall() 


// 暂停 当前 P。 
rol lee oe ts hel es ero ers ietole) 
sched,.stopwait—— 


// 尝试 暂停 所 有 syscall 状态 的 P。 
for i := 0; i < int(gomaxprocs); i++ { 
EU 


SS 时 := 二 DEs 七 3 也 Us 

Tf PSySCaURSASRECas(ADEStatUS Pgqcstop) ot 
p.syscalltick+t+ 
sched,.stopwait—— 


} 
上 
// 处 理 空闲 P。 
for { 
p := pidleget() 
= 
break 
p.status = _Pgcstop 
SahieoEskopwanal 二 
} 
wait := sched,.stopwait > 0 
7 等 何 5 
if wait { 
hore{ 
// 暂停 100us 后 ， 重 新 发 出 抢占 调度 。 
// handoffp、gcstopm、entersyscall_gcwait 等 操作 都 会 sched. stopwait--， 
// 如 果 stopwait == 0 则 尝试 唤醒 stopnote。 
// ”唤醒 成 功 ， 跳 出 循环 。 失 败 ， 则 重新 发 出 抢占 调度 ， 再 次 等 待 。 
if notetsleep(&sched.stopnote, 100*1000) { 
noteclear(&sched. stopnote) 
break 
} 
preemptall() 
上 
上 
// 检查 所 有 P 状态 。 
fom: On onaxbnoes 下 二 
pea Di [可 
tats ROSEODE 


throw("stopTheWorld: not stopped") 


// 向 所 有 P 发 出 抢占 调度 。 
func preemptaLL() bool { 


res:— Talse 
for 3 nt (0 < Jonmaxprocs rd 
加 Dl 
a ee nl | oe ee = | lr Alnor a 
continue 
上 
if preemptone(_p_) { 
res = true 
} 


Fe 起 由 FnREes 


总 体 上 看 ，stopTheWorld 还 是 很 平和 的 一 种 手段 ， 会 循环 等 待 目 标 任务 进入 一 个 安全 点 后 
主动 暂停 。 而 startTheWorld 就 更 简单 ， 毕 竞 是 从 冻结 状态 开始 ， 无 非 是 唤醒 相关 P/M 继 
续 执 行 任务 。 


procl.go 


func startTheWorld() { 
Systemstack(startTheworLdwithSsema) 
semrelease(&worldsema) 
getg().m.preemptoff = "" 


func startTheWorldwithSema() { 
J 0a wll) 


// 检查 是 否 需 要 procresize。 


pl := procresize(procs) 


// 解除 停止 状态 。 
sched.gcwaiting = 0 


// 唤醒 sysmon。 

if sched.sysmonwait != 0 { 
sched.sysmonwait = 0 
notewakeup(&sched.sysmonnote) 


// 循环 有 任务 的 P 链表 ， 让 它们 继续 工作 。 
Tio oh Ms ab at 
p := p1 
DI = pl Un ka t(D 
Dm on 
mp ome) 
peam =°0 
mp.nextp.set(p) 
notewakeup(&mp.park) 
} else { 
eStarto un Do no start anotnern Me Lows 
newm(nil, p) 
add ="false 


// 让 闲置 的 家 伙 都 起 来 工作 ! 
if atomicload(&sched.npidle) != 0 S& atomicload(&sched.nmspinning) == 0 { 
wakep() 
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七 . 通道 


通道 (channel) 是 Golang 实现 CSP 并 发 模型 的 关键 ， 鼓 励 用 通讯 来 实现 数据 共享 。 可 以 
说 ， 缺 了 channel，goroutine 会 黯然 失色 。 


Don't communicate by sharing memoty, share memory by communicating. 


CSP: Communicating Sequential Process. 


1. 创建 


同步 和 异步 的 区 别 ， 在 于 是 否 有 组 冲模 。 





chan.go 


type hchan struct { 
































dataqsiz uint // 组 冲模 大 小 (可 存储 数据 项 数量 ) 。 
buf unsafe.Pointer // 组 冲模 指针 。 
elemsize uint16 // 数据 项 大 小 。 
elemtype *_type // 数据 项 类 型 。 
2 
chan.go 


func makechan(t x*chantype, size int64) x*hchan { 
elem := t.elem 


// 数据 项 不 能 超过 64KB (这 时 候 用 指针 更 合适 一 些 ) 。 
if elem.size >= 1<<16 { 
throw("makechan: invalid channel element type") 




















// 缓冲 槽 大 小 检查 。 
If size < 0 "|| int64(uintptr(size)) ESsize | 
(elem.size > 0 && uintptr(size) > (_MaxMem-hchanSize)/uintptr(elem,.size)) { 
panic("makechan: size out of range") 


var c *hchan 


// 受 垃圾 回收 器 限制 ， 指 针 类 型 缓冲 模 须 单独 分 配 内 存 。 

if elem.kind&kindNoPointers != 0 || size == 0 1{ 
// 因为 缓冲 模 大 小 固定 ， 所 以 可 一 次 性 分 配 内 存 。 
c= (x*hchan) (mallocgc(hchanSizetuintptr(size)x*uintptr(elem.size), nil, flagNoScan)) 
if size > 0 && elem.size != 0 1 




















// 调整 缓冲 槽 起 始 指 针 。 
c.buf = add(unsafe,.Pointer(c), hchanSize) 





} else { 
c.buf = unsafe.Pointer(c) 
上 
} else 1 


c = new(hchan) 
c.buf = newarray(elem, uintptr(size)) 


// 设置 属性 。 
c.elemsize = uint16(elem.size) 
cuelemtype =elenm 





c.dataqsiz = uint(size) 


Ai ne 


和 由 及 
必须 对 channel 收发 双方 (G) 进行 包装 ， 因 为 要 携带 数据 项 ， 存 储 相关 状态 。 


funtime2.go 
type g struct { 


param unsafe.Pointer ”// 传递 唤醒 参数 。 


type sudog struct { 
9 *g 
elem ”unsafe.Pointer // 数据 存储 空间 指针 。 


男 外 ，channel 还 得 维护 发 送 和 接收 者 等 待 队列 ， 以 及 异步 缓冲 槽 环 状 队列 索引 位 置 。 


chan.go 


type hchan struct { 












































qcount uint // 缓冲 权 有 效 数 据 项 数量 。 
closed uint32 // 是 否 关闭 。 

Sendx uint // 组 冲模 发 送 位 置 索引 。 
recvx uint // 缓冲 槽 接收 位 置 索 引 。 
recvq waitq // 接收 者 等 待 队列 。 
sendq waitq // 发 送 者 等 待 队列 。 


type waitq struct { 
first x*sudog 
last x*sudog 


和 以 往 一 样 ，sudog 也 实现 了 二 级 缓存 复 用 体系 。 


runtime2.g0o 


type p struct { 
sudogcache []*sudog // 在 procresize new(p) 时 指向 sudogbuf。 
sudogbuf [128]*sudog 


type schedt struct { 
sudogcache *sudog 


btoc.go 


func acquireSudog() *sudog { 
DoR :mp pa 


// 如 果 本 地 缓存 为 空 。 
if len(pp.sudogcache) == 0 { 
// 从 全 局 缓存 转移 一 批 到 本 地 。 
for len(pp.sudogcache) < cap(pp.sudogcache)/2 && sched,sudogcache != nil { 
Ss:=Ssched.sudogecache 
sched,. sudogcache = s.next 
Senexte = na 
pp.sudogcache = append(pp.sudogcache, s) 


// 如 果 失 败 ， 则 新 建 。 
if len(pp.sudogcache) == 0 { 
pp.sudogcache = append(pp.sudogcache, new(sudog)) 


// 从 尾部 提取 ， 并 调整 本 地 缓存 。 

len(pp. sudogcache) 

:= pp.sudogcache[n-1] 
ppssudogeacheln TI na 
pp.sudogcache = pp.sudogcache[:n-1] 


1 
Wo 


return s 


func releaseSudog(s *sudog) { 
pp := mp.p.ptr() 


// 如 果 本 地 缓存 已 满 。 
if len(pp.sudogcache) == cap(pp.sudogcache) { 
// 转移 一 半 到 全 局 。 
var first, last *sudog 
for len(pp.sudogcache) > cap(pp.sudogcache)/2 { 
n := len(pp.sudogcache) 
p := pp.sudogcache[n-1] 
pp.sudogcache[n-1] = nil 
pp.sudogcache = pp.sudogcache[:n-1] 
bi te Ll a 


frst = 
} else { 

Last:next =" 
J] 
Laste = 


} 

// 将 提取 的 链表 挂 到 全 局 。 
last.next = sched,.sudogcache 
sched,.sudogcache = first 


上 


pp.sudogcache = append(pp.sudogcache, s) 


sched.sudogcache 缓存 会 在 垃圾 回收 执行 clearpools 时 被 清理 ， 但 P 本 地 缓存 会 被 保留 。 





同步 和 异步 收发 算法 有 很 大 差异 ， 但 不 知 作者 为 什么 非 要 将 它们 塞 到 一 起 。 这 些 看 起 来 有 
些 巨 大 的 函数 ， 让 人 看 着 很 不 舒服 。 为 便于 分 析 ， 我 们 将 其 拆 解 开 来 。 


同步 模式 的 关键 是 找到 匹配 的 接收 或 发 送 方 ， 找 到 则 直接 拷贝 数据 ， 找 不 到 就 将 自身 打包 
后 放 入 等 待 队列 ， 由 另 一 方 复制 数据 并 唤醒 。 


在 同步 模式 下 ，channel 的 作用 仅 是 维护 发 送 和 接收 者 队列 ， 数 据 复制 与 channel 无 关 。 
另外 在 唤醒 后 ， 需 要 验证 唤醒 者 身份 ， 以 此 决定 是 否 有 实际 的 数据 传递 。 


chan.go 


func chansend1(t *chantype, c *hchan, elem unsafe.Pointer) { 
chansend(t, c, elem, true, getcallerpc(unsafe,.Pointer(&t))) 


} 


// 参数 eq 是 数据 项 指针 。 
func chansend(t x*chantype, c *hchan, ep unsafe.Pointer, block bool, callerpc uintptr) bool { 
// 同步 模式 
sh en le C2 0) 
// 从 等 待 队列 获取 接收 者 。 


sg := curecvq.dedqueue() 
el er ut 
recvg := sg.g 


// 直接 用 memmove 将 数据 项 复制 给 接收 者 。 
if sg.elem != nil { 
syncsend(c, sg, ep) 


// 唤醒 检查 标志 ， 表 明 是 由 发 送 者 唤醒 。 
// closechan 一 样 会 唤醒 接收 者 ， 但 param = nil。 
recvg.param = unsafe.Pointer(sg) 


// 唤醒 接收 者 。 
goready (recvg, 3) 
return true 


// 如 果 没 有 接收 者 ， 则 打包 成 sudog。 

gp := getg() 

mysg := acquireSudog() // 新 建 ， 或 从 缓存 获取 复 用 sudog 对 象 。 
mysg.elem = ep 

mysg.g = gp 

gp.param = nil 


// 将 发 送 sudog 放 入 等 待 队 列 ， 体 眠 ， 等 待 被 接收 者 唤醒 。 
c.sendq.enqueue(mysg) 
goparkunlock(&c. lock, "chan send", traceEvGoBlockSend, 3) 


// 被 唤醒 ， 检 查 是 否 被 closechan 唤醒 。 
// 此 时 数据 已 被 接收 者 复制 ， 无 需 再 做 处 理 。 
gp.waiting = nil 
gp Daamne ma 
Ifesclosed =— 0 
throw("chansend: spurious wakeup") 
上 
panic("send on closed channel") 
} 
gpeparam = nal 


// 将 sudog 放 回 复 用 缓存 。 
releaseSudog (mysg) 
lem ulleneaue 


接收 代码 和 发 送 几乎 一 致 ， 差 别 在 于 谁 先进 入 等 待 队列 ， 谁 负责 唤醒 。 编 译 器 会 将 不 同 语 
法 翻译 成 不 同 的 函数 调用 。 
chan.go 

/ehah 


func chanrecv1(t *chantype, c *hchan, elem unsafe.Pointer) { 
chanrecv(t, c, elem, true) 


上 
/1 XoOKk < ehan 
Wfornmx :range ehan 


func chanrecv2(t x*chantype, c *hchan, elem unsafe.Pointer) (received bool) { 
_, received = chanrecv(t, c, elem, true) 
return 


chan.go 


func chanrecv(t x*chantype, c *hchan, ep unsafe.Pointer, block bool) (selected, received bool) { 
// 同步 模式 。 
niente = 二 0 
// 从 等 待 队列 获取 发 送 者 。 
sg := C.sendq.dequeue() 
be Ll 
// 从 发 送 者 复制 数据 。 
de de 
typedmemmove(c.elemtype, ep, sg.elem) 


sg.elem = nil 
gp := 59.9 


// 设置 唤醒 检查 标志 。 
gp.param = unsafe.Pointer(sg) 





// 唤醒 发 送 者 ， 解 除 其 阻塞 。 
goready(gp，3) 


selected = true 
received = true 
return 


// 如 果 没有 发 送 者 ， 打 包 成 sudog 。 
gp := getg() 

mysg := acquireSudog () 
mysg.elem = ep 

mysg.g = gp 

gp.param = nil 


// 放 入 等 待 队列 ， 休 眠 ， 等 待 被 发 送 者 唤醒 。 


curecvdq.enqueue(mysg ) 
goparkunlock(&c. lock, "chan receive", traceEvGoBlockRecv, 3) 


// 被 唤醒 。 
// 数据 已 被 发 送 者 复制 过 来 。 
gpewaiting = "ni 


// 通过 检查 唤醒 标志 来 决定 是 否 有 数据 被 复制 。 
haveDpata =agpeparam =n 


gpwparam =" nil 


// 将 sudog 放 回 复 用 缓存 。 
releaseSudog (mysg) 


if haveData { 
selected = true 


received = true 
return 


return recvclosed(c, ep) 


异步 


异步 模式 围绕 缓冲 槽 进行 。 当 有 空位 时 ， 发 送 者 向 槽 中 复制 数据 ; 有 数据 后 ， 接 收 者 从 覃 
中 获取 数据 。 双 方 都 有 了 唤醒 排队 男 一 方 继续 工作 的 责任 。 


chan.go 


func chansend(t x*chantype, c *hchan, ep unsafe.Pointer, block bool, callerpc uintptr) bool { 
// 异步 模式 。 





// 如 果 缓 冲模 没有 空位 。 
for futile := byte(0); c.qcount >= c.dataqsiz; futile = traceFutileWakeup { 
// 打包 成 sudog。 


gp := getg() 
mysg := acquireSudog () 
mysg.g9 = gp 


mysgselem En 

// 放 入 发 送 者 等 待 队列 ， 体 眠 。 等 待 有 空位 时 被 唤醒 。 

c.sendq.enqueue(mysg) 

goparkunlock(&c. lock, "chan send", traceEvGoBlockSend|futile, 3) 


// 唤醒 后 ， 如 果 qcount < dataqsiz 表示 有 空位 ， 跳 出 循环 。 


// 将 sudog 放 回 复 用 缓存 。 


reLeaseSudog(mysg) 





// 将 数据 复制 到 缓冲 槽 。 
typedmemmove(c.elemtype, chanbuf(c, c.sendx), ep) 





// 调整 缓冲 槽 队列 索引 和 数据 项 计数 。 


Cc.Sendx++ 

if c.sendx == c.dataqsiz { 
c.sendx = 0 

} 

c.gqdcount++ 























// 现在 缓冲 模 不 为 空 ， 唤 醒 某 个 排队 的 接收 者 从 槽 中 获取 数据 。 


sg := cu.recvq.dequeue() 
SO no 
recvg := sg.g 


goready (recvg, 3) 


[ex nue 


发 送 须 有 组 冲模 空 位， 而 接收 则 须 槽 中 有 可 用 数据 项 。 


chan.go 


func chanrecv(t x*chantype, c *hchan, ep unsafe.Pointer，bLock bool) (selected, received bool) { 
// 异步 模式 。 





// 如 果 缓 冲模 中 没有 数据 项 。 
for futile := byte(0); c.qcount <= 0; futile = traceFutileWakeup { 
// 打包 成 sudog。 
gp :oeedq 
mysg := acquireSudog() 
mysgeetenm = nil 
mysg.g = gp 


// 放 入 接收 等 待 队 列 ， 休 眠 。 等 待 有 数据 项 时 被 唤醒 。 
c.recvgq.enqueue(mysg) 
goparkunlock(&c. lock, "chan receive", traceEvGoBlockRecv|futile, 3) 


// 唤醒 后 ，qcount > 0， 跳 出 循环 。 
// 将 sudog 返回 复 用 缓存 。 


reLeaseSudog(mysg) 


// 从 组 冲模 复制 数据 项 。 
sy To rit 
typedmemmove(c.elemtype, ep, chanbuf(c, c.recvx)) 

















// 清 零 。 调 整 缓冲 槽 队列 索引 及 计数 。 
memclr(chanbuf(c, c.recvx), uintptr(c.elemsize)) 





Cu recVvx++ 
if c.recvx == c.dataqsiz { 
c.recvx = 0 

上 
c.qdcount—— 








// 现在 有 空位 了 ， 唤 醒 某 个 排队 的 发 送 者 向 槽 中 发 送 数据 


o 


sg := Cc.sendq.dequeue() 
ef SO na 
gp := 5g.9 


goready (gp, 3) 


selected = true 
received = true 
return 


关闭 
关闭 操作 将 所 有 排队 者 唤醒 ， 并 通过 chan.closed、g.param 参数 告知 由 close 发 出 。 


。 和 疝 closed channel 发 送 数据 ， 触 发 panic。 
。 从 closed channel 读 取 数据 ， 返 回 零 值 。 
。 无 论 收 发 ，nil channel 都 会 阻塞 。 


chan.go 


func closechan(c *hchan) { 
// 不 能 重复 关闭 。 
UG GUOSedn = OR 
panic("close of closed channel") 





// 设置 关闭 标志 。 
exelosede = 





// 释放 所 有 接收 者 。 


fo 
sg := curecvdq.dequeue() 
So == nl 
break 
上 
gp := 5g.9 


sgeetem = maal 


// 这 个 参数 表明 唤醒 者 是 closechan。 
gp.param = nil 


// 唤醒 接收 者 。 
goready (gp, 3) 


// 释放 所 有 发 送 者 。 
让 On 
sg := Cc.sendq.dequeue() 
ee ea 
break 
上 
gp := 59g.9 
sgrelemne.—= nal 


// closechan 唤醒 。 
gpsparam =" ni 
goready (gp, 3) 


3. 选择 


选择 模式 (select) 是 从 多 个 channel 里 随机 选 出 可 用 的 那个 ， 编 译 嚣 会 将 相关 语句 翻译 成 
具体 的 函数 调用 。 


test.go 
package main 
import () 


func main() { 
cl, c2 := make(chan int), make(chan int, 2) 


select { 

Casencl ls 
Dionneni( Oxy 

eases GZ 
printLn(0Ox22) 

OeEfauUilsee 
printLn(Oxff) 


反 汇 编 。 


$ go build -o test test.go 
sqontoolobydumpe se mlm ma tesk 


TEXT main.main(SB) test.go 


test.g0:6 0x2073 CALL runtime.makechan(SB) // make(c1) 
test.go:6 ”0x2096 CALL runtime.makechan(SB) // make(c2) 
test.go:8  Qx20e2 CALL runtime.newselect(SB) // newselect 
test.go0:9 0x21064 CALL runtime.selectsend(SB) Veasewed 
test.go:11 0x2153 CALL runtime.selectrecv(SB) VEGASERG> 
test.go:13 0x2189 CALL runtime.selectdefault(SB) // case default 
test.go:8 0Qx21c2 CALL runtime.selectgo(SB) // selectgo 


完整 的 select 对 象 由 “header + [jscase 组 成 ， 完 全 是 C 不 定 长 结构 体 的 风格 。 


select.go 


type hselect struct { 


tcase uint16 // ncase 总 数 。 

ncase uint16 // ncase 初始 化 顺序 。 
pollorder x*uint16 // 乱 序 后 的 scase 序号 。 
lockorder **hchan // 按 scase channel 地 址 排序 。 
scase [1]scase // scase 数组 。 


type scase struct { 


elem unsafe.Pointer datanelement 

C *hchan // chan 

pc uintptr J netane 

kind uint16 

SO uint16 // vararg of selected bool 
receivedp +*bool // pointer to received bool (recv2) 


releasetime int64 


初始 化 函数 newselect 除 设置 相关 初始 属性 外 ， 还 将 一 次 性 分 配 的 内 存 切 分 给 相关 字段 。 


Select.go 


func newselect(sel x*hselect, selsize int64, size int32) { 
if selsize != int64(selectsize(uintptr(size))) { 
throw("bad select size") 
上 
sel.tcase = uint16(size) 
se necase =°"0 


sel.lockorder = (**hchan)(add(unsafe.Pointer(&sel.scase), 


uintptr(size)*unsafe.Sizeof(hselect{}.scase[0]))) 
sel.pollorder = (x*uint16)(add(unsafe,.Pointer(sel. lockorder), 
uintptr(size)*unsafe.Sizeof (x*hselect{}. Lockorder))) 


func selectsize(size uintptr) uintptr { 
selsize := unsafe.Sizeof(hselect{}) + 
(size-1)*unsafe.Sizeof(hselect{}.scase[0]) + 
size*unsafe.Sizeof(x*hselect{},. lockorder) + 
sizex*unsafe.Sizeof (x*hselect{}.pollorder) 
return round(selsize, _Int64Align) 


在 处 理 好 select 对 象 后 ， 还 需 初始 化 scase。 过 程 并 不 复杂 ， 依 ncase 确定 位 置 ， 设 置 相 关 
人 参数。 依照 case channel 操作 方式 ， 可 分 为 send、recv、default 三 种 。 


select.go 


func selectsendIimpl(sel *hselect, c *hchan, pc uintptr, elem unsafe.Pointer, so uintptr) { 
// 确定 位 置 。 
i := sel.ncase 
Semmneases mel 


// 获取 scase， 初 始 化 。 
cas := (*scase)(add(unsafe.Pointer(&sel.scase), uintptr(i)x*unsafe.Sizeof(sel.scase[0]))) 


CasEpbc = De 
CaSmNG = 

cas.so = Uint16(so) 
cas.kind = caseSend 
cas.elem = elem 


func selectrecvIimpl(sel x*hselect, c *hchan, pc uintptr, elem unsafe,.Pointer, ...) { 
1 Snease 
Selmmneases = ie 
cas := (*scase)(add(unsafe.Pointer(&sel,.scase), uintptr(i)x*unsafe.Sizeof(sel.scase[0]))) 
Casmpea= se 
CARCe = 
cas.so = uint16(so) 
cas.kind = caseRecv 
cas.elem = elem 
easmrecenved = ecenved 


func selectdefaultImpl(sel x*hselect, callerpc uintptr, so uintptr) { 
i := sel.ncase 
Selmmneases = el 
cas := (*scase)(add(unsafe.Pointer(&sel,.scase), uintptr(i)x*unsafe.Sizeof(sel.scase[0]))) 
cas.pc = callerpc 
cas.c = nil // 注意 ， 这 个 会 影响 后 面 Lockorder 排序 。 
cas.s0 = Uint16(so) 


cas.kind = caseDefault 


选择 算法 又 是 一 个 充斥 goto 跳 转 的 超 长 大 杂烩 ， 精 简 掉 无 关 代码 后 ， 耐 心 点 慢 慢 看 。 


Select.go 


func selectgo(sel x*hselect) { 
pc, offset := selectgoImpl(sel) 
*(*bool) (add(unsafe,.Pointer(&sel), uintptr(offset))) = true 
setcallerpc(unsafe.Pointer(&sel), pc) 


func selectgoImpl(sel *hselect) (uintptr, uint16) { 
// 为 访问 方便 ， 将 scase 封装 成 slice。 
scaseslice := slice{unsafe.Pointer(&sel,.scase), int(sel.ncase), int(sel.ncase)} 
scases := *(*[]scase)(unsafe.Pointer(&scaseslice)) 


// pollorder: 对 scases 序号 洗 牌 ， 乱 序 。 
// lockorder: 按 channel 地 址 顺序 排序 。 


// 锁定 全 部 channel。 
sellock(sel) 


loop: 


tor i = On NCUnNncCase) Lt 
// 从 乱 序 的 poLLorder 中 获取 ， 这 就 是 select 随机 选择 的 关键 。 
cas = &scases [poLtorder [il]j] 
CE 三 casEG 


Switch cas.kind { 
case caseRecyv: 


edatagqsrz > 0 /a 
Lc eoumte > 0 // 组 冲模 有 数据 。 
goto asyncrecyv 
上 
} else { // 同步 。 
sg = Cc.sendq.dequeue() 
SO Al // 有 发 送 者 。 
goto syncrecyv 
上 
上 
TIECSCUOScdERTES 0 2 Be 


QOLO elosSe 


Gasescasesende 
if c.closed != 0 1{ 
goto sclose 
上 
earadsnze On 
if c.qcount < c.dataqsiz { 
goto asyncsend 
上 
} else { 
sg = c.recvd.dequeuel() 
lor et 
goto syncsend 


case caseDefault: 
df =Scas 


// 如 果 没 有 准备 好 的 case， 尝 试 执行 default。 
Gl Ue 


selunlock(sel) 

cas = dfl 

yOLoNreue 
} 
AR 


// 2: 如 果 没 有 任何 准备 好 的 case， 将 当前 select G 打包 成 sudog， 
27 放 到 所 有 channel 排队 列表 ， 等 待 唤醒 。 


0 
gp = getg() 
done = 0 
for i := 0; i < int(sel.ncase); i++ { 
cas = &scases [pollorder[il]] 
C= CaSeG 


// 打包 成 sudog。 

// 每 个 case 的 sudog 都 不 同 。 

sg := acquireSudog() 

5g9.9 = gp 

sg.selectdone = (x*uint32)(noescape(unsafe.Pointer(&done))) 
sg.elem = cas.elem 


// 全 部 sudog 被 放 入 gp.waiting 链表 。 

// 此 链表 顺序 同 poLLorder， 后 面 以 此 识别 是 哪个 case 唤醒 。 
sg.waitlink = gp.waiting 

gp.waiting = sg 


// 根据 case 类 型 ， 决 定 放 入 发 送 或 接收 者 排队 列表 。 
switch cas.kind { 
case caseRecv: 
c.recvgq.enqueue(sg) 
case caseSend: 


c.sendq.enqueue(sg) 


// 休眠 select G6， 直到 某 个 case channel 活动 后 ， 从 排队 列表 将 其 提取 并 唤醒 。 
gp.param = nil 
gopark(selparkcommit, unsafe,.Pointer(sel), "select", traceEvGoBlockSelect|futile, 2) 


// 被 唤醒 。 

sellock(sel) 

sg = (*sudog) (gp.param) // 注意 唤醒 参数 ， 就 是 待 查 sudog。 
gp.param = nil 


// 使 用 第 二 步 准 备 好 的 gp.waiting 链表 。 
sglist = gp.waiting 
gp.waiting = nil 


for i := int(sel.ncase) - 1; i >= 0; i-- 1{ 
// 同样 使 用 pollorder， 所 以 和 gp.waiting 顺序 一 致 。 
k = &scases[pollorder[i]] 


i Sl = oe 
// 匹配 。 
Gas = Ik 
} else { 
// 不 匹配 , 将 sudog 从 channel 排队 列表 移 除 。 
CE= KC 
if k.kind == caseSend { 
c.sendq.dequeueSudoG(sglist) 
} else { 
c.recvq.dequeueSudoG(sglist) 


// 利用 循环 清理 掉 所 有 排队 sudog。 
sgnext = sglist.waitlink 
sglist,.waitlink = nil 
releaseSudog(sglist) 

sglUist = Sgnext 


// 没 找到 匹配 ， 可 能 被 意外 唤醒 ， 重 新 开始 。 
aos== nl 
goto loop 


// 找到 目标 ， 解 锁 ， 退 出 。 
selunlock(sel) 
goto retc 


// 这 些 前 面 已 分 析 过 ， 略 过 。 
asyncrecyv: 

asyncsend: 

syncrecyv: 

Gosee 

Syncsend : 


SEE 


Penncass De eassso 


SUOSes 
selunlock(sel) 
panic("send on closed channel") 


h 


对 这 种 代码 风格 ， 真 是 无 语 了 。 就 算 原 本 是 C 也 没 必 要 写成 这 样 吧 ， 什 么 时 候 才 能 整理 干净 ? 


zy》 
EC 
淆 


简化 后 的 流程 看 上 去 就 清 碍 多 了 。 


用 pollorder 随机 遍历 ， 找 出 准备 好 的 case。 

如 没有 可 用 case， 则 尝 default case。 

如 都 不 可 用 ， 则 将 select G 打包 放 入 所 有 channel 的 排队 列表 。 
直到 select G 被 某 个 channel 唤醒 ， 遍 历 ncase 查找 目标 case。 


i 


每 次 操作 ， 都 需要 对 全 部 channel 加 锁 ， 这 粒度 似乎 太 大 了 些 。 


select.go 


func sellock(sel x*hselect) { 
lockslice := slice{unsafe.Pointer(sel,.lockorder), int(sel.ncase), int(sel.ncase)} 
Lockorder := *(*[]*hchan) (unsafe,.Pointer(&lockslice)) 


var c *hchan 
fo co range lockorder tt 
// 如 果 和 前 一 channel 地 址 不 同 ， 则 加 锁 。 
// Lockorder 的 作用 就 是 避免 对 同一 channel 重复 加 锁 。 
a es Ue WA ees J et 
c=c0 
lock(&c. Lock) 


func selunlock(sel x*hselect) { 
n := int(sel.ncase) 
r:=0 
lockslice := slice{unsafe,.Pointer(sel,.lockorder), n, n} 


Lockorder := *(*[]*hchan) (unsafe.Pointer(&lockslice)) 


// 因为 default case 的 channel = nil， 所 以 总 是 排 在 Lockorder[0] ， 跳 过 。 
no ce Lockorder tol == mf 


r=1 
上 
or me = 和 阅 三 三 下 人 
c= lockondemlad 
// 避免 重复 解锁 。 
> 0 Sc = tockorder[la= DI 
continue 
革 
unlock(&c. Lock) 
上 


官方 确定 要 改进 select lock， 只 是 release 时 间 未 定 。 


八 . 壮 达 


延迟 调用 (defer) 最 大 优势 是 ， 即 便 函 数 执行 出 错 ， 依 然 能 保证 回收 资源 等 操作 得 以 执 
行 。 但 如 果 对 性 能 有 要 求 ， 且 错误 能 被 控制 ， 那 么 还 是 直接 执行 比较 好 。 





本 和 4 
我 们 用 一 个 简单 的 示例 来 揭 开 defe 的 秘密 。 


test.go 
package main 
import () 


func main() { 
defer printLn(0Ox11) 


Sqgon Dun ontest kes 
$ go tool objdump -s "main\.main" test 


TEXT main.main(SB) test.go 
Eee SEE 可 ODS 0x204f SUBQ $0x18, SP 


test.go:6 0x2053 MOVQ $0x11, Ox10(SP) arogpoxal 

test.go:6 QOx205c MOVL $0x8, 0(SP) // arg size 

test.go:6 0x2063 LEAQ Qx8379e(IP), AX // 0x8379e(0x206a) = 0x85808 print function 
test.go:6 0Qx206a MOVQ AX，0x8(SP) 0 + 一 IP 指向 下 一 条 指令 。 
test.go:6  Qx206f CALL runtime.deferproc(SB) 

test.g0o:6 Ox2074 CMPL $0x0, AX 

test.g0o:6 0x2077 JNE 0x2084 

ES)oe 0x2079 NOPL 

test.go:7 0x207a CALL runtime.deferreturn(SB) 

ESO 0x207f ADDQ $0x18, SP 

es oe 0x2083 RET 


sanmetesilo en eps 


0000000000085808 s main.print.1.f 


编译 器 将 defer 处 理 成 两 个 函数 调用 ，deferproc 定义 一 个 延迟 调用 对 象 ， 然 后 在 函数 结束 
前 通过 deferreturn 完成 最 终 调用 。 


和 前 面 一 样 ， 对 于 这 类 参数 不 确定 的 都 是 用 funcval 处 理 ，siz 是 目标 函数 参数 长 度 。 


runtime2.g0o 


type _defer struct { 


SZ IES 记 
started bool 
sp uintptr  // 调用 deferproc 时 的 SP。 
pc uintptr  // 调用 deferproc 时 的 IP。 
i *funcval 
oon Darc J Doan theatersenunmnimnogndeker 
Link *_defer 
J 
panic.go 


func deferproc(siz int32, fn *funcval) { // arguments of fn follow fn 


sp := getcallersp(unsafe.Pointer(&siz)) 
argp := uintptr(unsafe.Pointer(&fn)) + unsafe.Sizeof(fn) 
callerpc := getcallerpc(unsafe.Pointer(&siz)) 


systemstack(func() { 


d := newdefer(siz) 
dtin = fn 

dnpe = ealbenpe 
dssp = SD 


memmove(add(unsafe.Pointer(d), unsafe,.Sizeof(*d)), 
unsafe.Pointer(argp), uintptr(siz)) 


Da) 


edeterprocereu noma 

Wandelermmedeiune hatestionseaDanmiemnakes rnt 

// the code the compiler generates always checks the return value and jumps to the 
endnotmtheantuneromi dhennnocretuse 0 

returno() 





这 个 函数 粗 看 没什么 复杂 的 地 方 ， 但 有 两 个 问题 : 第 一 ， 参 数 被 复制 到 defer 对 象 后 面 的 
内 存 空间 ; 第 二 ， 匿 名 函数 中 创建 的 d 保 存在 哪 ? 


panic.go 


func newdefer(siz int32) *_defer { 
var d *_defer 


// 参数 长 度 对 齐 后 ， 获 取 缓 存 等 级 。 
sc := deferclass(uintptr(siz)) 


mp := acquirem() 


// 未 超出 缓存 大 小 。 
if sc < Uintptr(Len(p{}+.deferpooL)) { 
Dp mosDaptn( 


// 如 果 P 本 地 缓存 已 空 ， 从 全 局 提取 一 批 到 本 地 。 
if len(pp.deferpool[sc]) == 0 && sched.deferpooL[sc] != nil { 
for Len(pp,deferpooL[sc]) < cap(pp.deferpool[sc])/2 && 
sched.deferpooL[sc] != nil { 
d := sched.deferpooL[sc] 
sched,deferpooL[sc] = d.Link 
dae = al 
pp.deferpooL[sc] = append(pp.deferpooL[sc]，d) 


// 从 本 地 缓存 尾部 提取 。 

ifn := len(pp.deferpool[sc]); n > 0 
d = pp.deferpool[sc] [n-1] 
pp.deferpooL[sc] [n-1] = nil 
pp.deferpool[sc] = pp.deferpooL[sc] [:n-1] 


// 新 建 。 很 显然 分 配 的 空间 大 小 除 _defer 外 ， 还 有 参数 。 


el ee Mt 
// Allocate new defer+targs. 
total := roundupsize(totaldefersize(uintptr(siz))) 


d = (*_defer)(mallocgc(total, deferType, 0)) 


局 SZ 二 SW 这 

// 将 d 保存 到 G._defer 链表 。 
gb: meeurg 

dink op deher 
gbamndenere=d 


releasem(mp) 
return d 


funtime2.go 


type np est uc 
deferpool [5] []*_defer 


type g struct { 


_defer *_ defer 


defer 同样 使 用 了 二 级 缓存 ， 这 个 没 兴 趣 深 究 。newdefer 函数 解释 了 前 面 的 两 个 问题 : 一 
次 性 为 defer 和 参数 分 配 空间 ， 其 次 d 被 挂 到 G._defer 链表 。 


那么 ， 退 出 前 deferreturn 自然 是 从 G._defer 获取 并 执行 延迟 函数 了 。 


panic.go 


func deferreturn(argo uintptr) { 
gp := getg() 


// 提取 defer 延迟 对 象 。 
qdEEEODEEOefer 
3 Mel 

return 


// 对 比 SP， 避 免 调 用 其 他 栈 帧 的 延迟 函数 。 (arg@ 也 就 是 deferproc siz 参数 ) 
sp := getcaLLersp(unsafe.Pointer(&arg0) ) 
oo DS Dt 

return 


} 


mp := acquirem() 





// 将 延迟 函数 的 参数 复制 到 堆栈 (这 会 覆盖 掉 siz、fn， 不 过 没有 影响 ) 。 
memmove (unsafe.Pointer(&arg0), deferArgs(d), uintptr(d.siz)) 
:=n 

d.fn = nil 











// 调整 6._ defer 链表 。 
gp._defer = d. link 


// 释放 _defer 对 象 ， 放 回 缓存 。 
Systemstack(func() { 
freedefer(d) 





测 


releasem(mp) 


// 执行 延迟 图 数 。 
jmpdefer(fn，uintptr(unsafe.Pointer(Sarg0) ) ) 


freedefer 将 _defer 放 回 Pdeferpool 缓存 ， 当 数量 超出 时 会 转移 部 分 到 sched.deferpool。 垃 圾 回收 
时 ，clearpools 会 清理 掉 sched.deferpool 缓存 。 


汇编 实现 的 jmpdefer 郴 数 很 有 意思 。 


首先 通过 arg0 参数 ， 也 就 是 调用 deferproc 时 压 入 的 第 一 参数 siz 获取 main.main SP。 当 
main 调用 deferreturn 时 ， 用 SP-8 就 可 以 获取 当时 保存 的 main IP 值 。 因 为 卫 保 存 了 下 

条 指令 地 址 ， 那 么 用 该 地 址 减 去 CALL 指令 长 度 ， 自 然 又 回 到 了 main 调用 deferreturn 
函数 的 位 置 。 将 这 个 计算 得 来 的 地 址 入 栈 ， 加 上 jmpdefer 没有 保存 现场 ， 那 么 延迟 函数 fn 
RET 自然 回 到 CALL deferreturn， 如 此 就 实现 了 多 个 defer 延迟 调用 循环 。 


asm_amd064.s 


TEXT runtime:jmpdefer(SB), NOSPLIT, $0-16 














MOVQ fv+0(FP), DX // 延迟 函数 fn 地 址 。 

MOVQ argp+8(FP), BX // argp+8 是 arg 地 址 ， 也 就 是 main 的 SP。 

LEAQ -8(BX), SP // 将 SP-8 获取 的 其 实 是 call deferreturn 是 压 入 的 main IP。 
SUBQ DELSD) // CALL 指令 长 度 5，-5 返回 的 就 是 call deferreturn 指令 地 址 。 
MOVQ 0(DX) ，BX // 执行 fn 函数 。 

JMP BX 


费 得 好 大 力气 ， 真 有 必要 这 么 做 么 ? 


虽然 整个 调用 堆栈 的 defer 都 挂 在 G._defer 链表 ， 但 在 deferreturn 里 面 通过 sp 值 的 比 对 ， 
可 避免 调用 其 他 栈 帧 的 延迟 函数 。 


如 中 途 用 Goexit 终止 ， 它 会 负责 处 理 整 个 调用 堆栈 的 延迟 函数 。 


panic.go 


func Goexit() { 
gp := getg() 
fom et 
d= opedefer 
| Ss tl 
break 


if d,started { 

sol ane nl 
dwnalnienabontede = Eue 
dspanee= nl 

J 

dns= 

qbamdelten = denk 

freedefer(d) 

continue 


上 
destarted ="true 
reflectcall(nil, unsafe.Pointer(d.fn), deferArgs(d), uint32(d.siz), uint32(d.siz)) 
if gp._defer != d { 
throw("bad defer entry in Goexit") 
} 
dmnanmee = na 
ds ine = rl 
gqpindenele = dnink 
freedefer(d) 
上 
goexit1() 


2. 性 能 


正如 你 所 见 ， 延 迟 调用 远 不 是 一 个 CALL 指令 那么 简单 ， 会 涉及 很 多 内 容 。 诸 如 对 象 分 配 、 
缓存 ， 以 及 多 次 函数 调用 。 在 某 些 性 能 要 求 比较 高 的 场合 ， 应 该 避免 使 用 defer。 


test_test.go 
package main 


import ( 
nn sync™ 
SET 


var Lock Sync.Mutex 


func test() { 
lock.Lock() 
lock.Unlock() 


func testdefer() { 
lock.Lock() 
defer lock.Unlock() 


func BenchmarkTest(b x*testing.B) { 
O01 DN 0 二 二 汪 攻 
test() 


func BenchmarkTest2(b x*testing.B) { 
OW 0 1 NE 
testdefer() 


性 能 测试 : 


J go tese Vv testeDenchne 


BenchmarkTest-4 100000000 22.0 ns/op 
BenchmarkTest2-4 20000000 93.4 ns/op 


相 较 以 前 版 本 ，defer 性 能 有 所 改进 ， 但 还 是 有 4 以 上 的 差异 。 该 结果 仅 供 参考 ! 
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不 知 从 何 时 起 ，panic 就 成 了 一 个 禁忌 话题 ， 诸 多 教程 里 都 有 “Don't Panic!l 这 样 的 条 例 。 
这 让 我 想起 Python _del__ 的 话题 ， 颇 为 类 似 。 其 实 ， 对 于 不 可 恢复 性 的 错误 用 panic 并 
无 不 妥 ， 见 仁 见 知 吧 。 








从 源码 看 ，panic/recover 的 实现 和 defer 息息相关 ， 且 过 程 算 不 上 复杂 。 


funtime2.go 


type _panic struct { 


argp UnmsaesPEonnker bokeeEEoEaoroguments oldeterred cecaleun dtramo pande 
arg interface{} // argument to panic 

Link *_panic /eumnketonreanlerane 

recovered bool // whether this panic is over 

aborted bool // the panic was aborted 


type _defer struct { 
_panic +*_panic 


} 


type g struct { 
Dale Aaanne 


} 


编译 器 将 panic 翻译 成 gopainc 函数 调用 。 它 会 将 错误 信息 打包 成 _panic 对 象 ， 并 挂 到 
G._panic 链表 的 头 部 。 然 后 人 遍历 执行 G._defer 链表 ， 检 查 是 否 recover。 如 被 fecoveted ， 


则 终止 志 历 执行 ， 跳 转 到 正常 的 deferreturn 环节 。 否 则 执行 整个 调用 堆栈 的 延迟 函数 后 ， 
显示 异常 信息 ,终止 进程 。 


panic.go 


func gopanic(e interface{}) { 
gp := getg() 


// 新 建 _painc， 挂 到 6G._panic 链表 头 部 。 

var p _panic 

p.arg = e 

pnk = gp Danie 

gp._panic = (*_panic) (noescape(unsafe,.Pointer(&p))) 


// 遍历 执行 G6._defer (整个 调用 堆栈 ) ， 直 到 某 个 recover。 
om et 





d= apdefer 
nf c= 
break 


// 如 果 defer 已 经 执行 ， 继 续 下 一 个 。 
if d.started { 
so on 
d._panic.aborted = true 
上 
Daliics = nt 
dj 三 和 fi 
paoefee = dealtank 
freedefer(d) 
continue 


// 不 移 除 defer， 便 于 traceback 输出 所 有 调用 堆栈 信息 。 
d.started = true 


// 将 _panic 保存 到 defer._panic。 
d._panic = (*_panic) (noescape( (unsafe.Pointer)(&p))) 


// 执行 defer 函数 。 

// p.argp 地 址 很 重要 ，defer 里 的 recover 以 此 来 判断 是 否 直接 在 defer 内 执行 。 

// reflectcall 会 修改 p.argp。 

p.argp = unsafe.Pointer(getargp(0) ) 

reflectcall(nil, unsafe.Pointer(d.fn), deferArgs(d), uint32(d.siz), uint32(d.siz)) 
peargp = nil 


// 将 已 经 执行 的 defer 从 6G._defer 链表 移 除 。 
dnamnanme =n 

d.fn = nil 

gqpiudelebe .dbank 


d.pc 
unsafe.Pointer(d. sp) 


ie 
SE: 


freedefer(d) 


// 如 果 该 defer 内 执行 了 recover, 那么 recovered = true。 
if p.recovered { 

// 移 除 当前 recovered panic。 

gbapanie = patmnk 


// 移 除 aborted panic。 
for gp._panic != nil S& gp._panic.aborted { 
Qbank 


// recovery 会 跳 转 会 defer.pc， 也 就 是 调用 deferproc 后 。 
// 编译 器 会 调用 deferproc 后 插入 比较 指令 ， 通 过 标志 判断 ， 跳 转 
// 到 deferreturn 执行 剩余 defer 函数 。 

gp.sigcode@ = uintptr(sp) 

gp.sigcodel = pc 

mcall(recovery) 

throw("recovery failed") // mcall should not return 


// 如 果 没 有 recovered， 那 么 循环 执行 整个 调用 堆栈 的 延迟 函数 ， 
// 要 么 被 后 续 recover， 要 么 骨 溃 。 


// 如 果 没有 捕获 ， 显 示 错 误 信息 后 终止 (exit) 进程 。 
startpanic() 

printpanics(gp._panic) 

dopanic(0) // should not return 
Cm (nn // not reached 


和 panic 相 比 ，recover 函数 除 返 回 最 后 一 个 错误 信息 外 ， 主 要 是 设置 recovered 标志 。 注 
意 ， 它 会 通过 参数 堆栈 地 址 确认 是 否 在 延迟 函数 内 被 直接 调用 。 


panic.go 


func gorecover(argp uintptr) interface{} { 
gp := getg() 
p= gpaDande 
ifp != nil && !p.recovered && argp == uintptr(p.argp) { 
panecoverede = true 
return p.arg 
上 


return nil 


九 . 析 构 


我 也 不 确定 怎样 用 中 文 表达 Finalizer 最 合适 。 其 主要 用 途 是 在 对 象 被 垃圾 回收 时 执行 一 个 
关联 函数 ， 效 果 如 同 OOP 里 的 析 构 方法 (Destructor Method) 。 


使 用 示例 : 


test.go 
package main 


import ( 
"runtime”" 
time" 


func main() { 
X=°123 
runtime.SetFinalizer(&x, func(x *¥int) { 
DIE x fmnalzern yy 


jy 


runtime.GC() 
time.Sleep(time.Minute) 


1. 设置 


首先 得 为 目标 对 象 关联 一 个 析 构 函数 。SetFinalizer 会 通过 接口 内 部 的 类 型 信息 对 目标 对 象 
和 finalizer 函数 (参数 数量 、 类 型 等 ) 做 出 检查 ， 确 保 符 合 要求 。 


mfinal.go 


func SetFinalizer(obj interface{}, finalizer interface{}) { 
// 从 接口 获取 类 型 和 对 象 指针 。 
e := (#keface)(unsafe.Pointer(&obj )) 
etyp := e._type 
ot := (*ptrtype) (unsafe.Pointer(etyp)) 


// 忽略 nil 对 象 。 
_，base，_ := findobject(e.data) 
1 Dases— = nu 
wo lengtheobgeetsare okayes 
if e.data == unsafe.Pointer(&zerobase) { 
return 


// 获取 finalizer 函数 信息 。 
f := (x*eface) (unsafe.Pointer(&finalizer)) 
ye = ye 


// 如 果 finalizer = niL， 则 移 除 析 构 函数 。 
a a i 
systemstack(func() { 
removefinalizer(e.data) 
1 


return 


// 确保 finalizer 是 国 数 。 
if ftyp.kind&kindMask != kindFunc { 
throw("runtime.SetFinalizer: second argument is " + *ftyp._string + 
notean tum 


// 检查 finalizer 参数 数量 及 其 类 型 。 
ft := (x*functype) (unsafe,.Pointer(ftyp)) 
ins := *(*[]*_ type) (unsafe.Pointer(&ft.in)) 
I tdortdordotall ven(amsy) nl 
throw("runtime.SetFinalizer: cannot pass " + *etyp._string + 
to fnalizer Sity otro 
此 
Te ett) 
switch { 
case fint ==>etyp: 
// ok - 相同 类 型 。 
goto okarg 
case fint.kind&kindMask == kindPtr: 
goto okarg 
case fint,.kind&kindMask == kindInterface: 
goto okarg 


// 检查 结果 错误 ， 抛 出 异常 。 
throw("runtime.SetFinalizer: cannot pass " + *etyp._string + 
tO fiolzZer omey sting 


okarg: 
// 计算 返回 参数 大 小 。 
nret := uintptr(0) 
for _, t := range *(*[]* type) (unsafe.Pointer(&ft.out)) { 
nret = round(nret, uintptr(t.align)) + uintptr(t.size) 
上 


nret = round(nret, ptrSize) 


// 确保 finalizer goroutine 运行 。 
createfing() 


// 不 能 重复 设置 finaLizer 遂 数 。 


systemstack(func() { 
if !addfinalizer(e.data, (*funcval)(f.data), nret, fint, ot) { 
throw("runtime.SetFinalizer: finalizer already set") 


析 构 函数 会 被 打包 成 specialfinalizer 对 象 。 


mheap.go 


type special struct { 
next sspecial  ”// 链表 。 
offset uint16 // 目标 对 象 地 址 偏 移 量 。 
kind byte 2 





type specialfinalizer struct { 
special special  // 匿名 嵌入 。 


fn *funcval 
mie uintptr 
phe *_type 

ot *ptrtype 


func addfinalizer(p unsafe.Pointer, f x*funcval, nret uintptr, fint x* type, ot x*ptrtype) bool { 
// 从 国定 分 配器 创建 specialfinalizer。 





s := (*specialfinalizer)(fixAlloc Alloc(&mheap_.specialfinalizeralloc)) 
sspecialkind = KindSspecrialF inalizer 
cm fn = 


s.Nret = nret 
Sfmt = ni 
coole = ot 


// 添加 (注意 ， 使 用 了 匿名 嵌入 字段 ) 。 
if addspecial(p, &s.special) { 
return true 


// 已 经 有 finalizer， 释 放 当 前 specialfinalizer。 
fixAlloc_Free(&mheap_.specialfinalizeralloc, (unsafe.Pointer)(s)) 
return false 


最 终 specialfinalizet 被 保存 到 span.specials 链表 。 这 里 的 算法 很 有 意思 ， 利 用 目标 对 象 在 
span 的 地 址 偏 移 量 作 为 去 重 和 排序 条 件 。 如 此 ， 单 个 循环 就 可 以 完成 去 重 判断 和 有 序 添 加 
操作 。 





mheap.go 


type mspan struct { 
specials x*special // 按 偏 移 量 排序 链表 。 


func addspecial(p unsafe.Pointer, s *special) bool { 
// 找到 目标 对 象 所 属 span， 计 算 地 址 偏 移 量 。 
span := mHeap_LookupMaybe(&mheap_, p) 
offset := uintptr(p) ~ uintptr(span.start<<_ PageShift) 
kind := s.kind 


// 遍历 span.specials 链表 ， 

// 通过 偏 移 量 和 _KindSpecialFinalizer 检查 是 否 已 设置 finaLizer。 
t := &span.specials 

Wo 


% 
A 


X= 
TX 
break 


// 已 设置 。 
foe .== ne ofhset) alkinde — xnkande 
return false // already exists 


// 因为 span.specials 按 offset 排序 ， 所 以 没 必要 超出 范围 检查 。 
sonisete intptn(ottset offiset umtptrs oniset skind x knd ne 
break 





t= XNext 


// 利用 上 面 循环 中 断 ， 将 special 插入 链表 合适 地 方 ， 保 持 有 序 。 
s.offset = uint16(offset) 

s.nNext = *t 

*t = S 


fenaue 


移 除 操作 也 只 需 用 偏 移 量 遍历 span.specials 链表 即 可 完成 。 


mheap.go 


func removespecial(p unsafe,.Pointer, kind uint8) x*special { 
// 查找 所 属 span， 计 算 地 址 偏 移 量 。 
span := mHeap_LookupMaybe(&mheap_, p) 
offset := uintptr(p) ~ uintptr(span.start<< PageShift) 


// 遍历 链表 ， 移 除 special。 


t := &span.specials 
fowmee 
S := *t 
LE 
break 
上 


if offset == Uintptr(s.offset) S& kind == s.kind { 
*t = s.next 
return s 
ys 
t = &s.next 


} 


return nilL 


2. 清理 


垃圾 清理 操作 在 处 理 span 时 会 检查 specials 链表 ， 将 不 可 达 对 象 的 finalizer 沙 数 添加 到 一 
个 特定 待 执行 队列 。 


mgcsweep.go 


func mSpan_Sweep(s x*mspan, preserve bool) bool { 
specialp := &s.specials 
special := *specialp 
OmeSDecmal nae 
// 利用 偏 移 量 计算 出 目标 对 象 地 址 。 
p := uintptr(s.start<<_ PageShift) + uintptr(special.offset)/size*size 





// 检查 回收 标记 。 
// 如 果 没 有 标记 ， 那 么 属于 可 回收 对 象 ， 准 备 执 行 finalizer。 
hbits := heapBitsForAddr(p) 
if !hbits.isMarked() { 
p := Uintptr(s.start<<_PageShift) + uintptr(special.offset) 








Vspecnal 


// 调整 span.specials 链表 。 
special = special:next 
*specialp = Special 


// 释放 special, 将 finalizer 放 入 待 执 行 队 列 。 

// 下 次 回收 该 对 象 时 ， 已 经 没有 finalizer 需要 处 理 了 。 

if !freespecial(y, unsafe.Pointer(p), size, false) { 
// 重新 将 目标 对 象 标记 ， 避 免 被 清理 。 
// 为 了 让 finalizer 正确 执行 ， 必 须 延 长 目标 对 象 生命 周期 。 
hbits,setMarkedNonAtomic() 








} else { 


OnbjieasESsrtVeKeesDEsbEcnaneeohg 
specialp = &special.next 
special = x*specialp 


mheap.go 


func freespecial(s x*special, p unsafe.Pointer, size uintptr, freed bool) bool { 
Switch s.kind { 
easeaKnaspeceralb nalzer: 
// addfinalizer 创建 的 原本 就 是 specialfinalizer， 它 匿名 巾 入 special,， 
// 此 处 不 过 是 转换 回 原本 样子 而 已 。 
sf := (*specialfinalizer)(unsafe.Pointer(s)) 

















// 将 函数 放 入 待 执行 队列 。 
queuefinaLizer(p，sf.fn，sf.nret，sf.fint，sf.ot) 


// 释放 specialfinalizer 对 象 。 
fixAlloc_Free(&mheap_.specialfinalizeralloc, (unsafe.Pointer)(sf)) 
Rextwenetalsen/ doni een aa zdone 

case _KindSpecialProfile: 


default: 
throw("bad special kind") 
panic("not reached") 


从 清理 操作 对 持 有 finalizer 不 可 达 对 象 的 态度 可 以 看 出 ， 析 构 函 数 会 延长 对 象 的 生命 周期 ， 
直到 下 一 次 垃圾 回收 才 会 真正 被 清理 。 其 根本 理由 就 是 ，finalizer 函数 执行 时 可 能 会 访问 
目标 对 象 ， 比 如 释放 目标 对 象 持 有 的 相关 资源 等 等 。 


男 外 ，finalizer 的 执行 依赖 于 垃圾 清理 操作 ， 我 们 无 法 确定 其 准确 执行 时 间 。 且 不 保证 在 
进程 退出 前 ， 会 一 定 得 到 执行 。 因 此 ， 不 能 用 finalizer 去 执行 类 似 flush cache 操作 。 





pa 
3. 执行 
在 探究 执行 方式 之 前 ， 先 得 搞 清 楚 这 个 执行 队列 是 怎么 回 事 。 
析 构 退 数 相关 信息 从 special 解 包 后 ， 被 重新 打包 成 finalizer， 然 后 被 存储 到 一 个 由 数组 封 


装 而 成 的 finblock 容器 ( 块 ) 里 。 多 个 finblock 串 成 链表 ， 形 成 队列 。 看 上 去 很 像 前 文 垃 
圾 回收 器 里 的 gcWork 高 性 能 缓存 队列 的 做 法 。 


mfinal.go 


type finalizer struct { 


fn x*funcval shutaontonGal 

apngm unsabhesPonntern /per tooomek 

lene yao byteseotenetuwn vealueseinomeimn 
em te type olst aegumenteor nn 
ot x*ptrtype tvpe omertorobeet 


type finblock struct { 
alllink x*finblock 


next *finblock 

cnt aas 坟 

2 int32 

fi [(_FinBlockSize - 2x*ptrSize - 2*4) / unsafe.Sizeof(finalizer{})]finalizer 


另 有 几 个 全 局 变量 用 来 管理 finblock。 


mfinal.go 


var finq *finblock // 待 执行 finalizer 队列 (链表 ) 。 
var finc x*finblock // 提供 finblock 缓存 复 用 对 象 。 
var allfin x*finblock  // 所 有 finblock 列表 。 


向 队列 添加 析 构 函数 的 过 程 ， 基 本 上 就 是 对 finblock 的 操作 。 每 次 都 向 待 执行 队列 的 第 一 
个 容器 fing 添加 ， 直 到 装 满 后 将 fing 换 成 新 的 finblock 块 。 


mfinal.go 


func queuefinalizer(p unsafe.Pointer, fn x*funcval, nret uintptr, fint x*_type, ot x*ptrtype) { 
// finq 是 链表 的 第 一 个 finblock， 也 是 当前 操作 的 目标 。 
// 如 果 为 空 ， 或 者 内 部 数组 已 满 ， 则 重新 获取 finblock 替换 finq。 
fn = nmente = nts (em fin ne 
// 如 果 复 用 缓存 已 空 ， 申 请 新 内 存 。 
fn ee = 
// 有 关 persistent， 请 参考 内 存 分 配 相关 章节 。 
finc = (*finblock) (persistentalloc(_FinBlockSize, 0, &memstats.gc_sys)) 





// 添加 到 alLLfin 链表 。 
finc.alllink = allfin 
une ne 


// 从 复 用 缓存 头 部 提取 finblock， 并 调整 finc 链表 。 


buoekEs Tine 
"ree oliokel eee 


// 将 新 finblock 持 到 finq 待 执行 队列 头 部 。 
block.next = finq 
finq = block 


// finq.cnt 记录 了 finblock 内 部 数组 使 用 位 置 索引 。 
fn mm 
We Gms es 


// 设置 相关 属性 。 
f.fn = fn 
ee = ne 

te = in 

role = 0 

f.arg = p 

// 设置 fing 唤醒 标志 。 
fingwake = true 





准备 好 执行 队列 后 ， 须 由 专门 的 fing goroutine 负责 执行 。 在 SetFinalizer 里 我 们 就 看 到 过 
createfing 国 数 调用 。 


mfinal.go 


func createfing() { 
// 确保 仅 执行 一 次 。 
if fingCreate == 0 && cas(&fingCreate, 0, 1) { 
go runfing() 


mfinal.go 


var fing *g // goroutine that runs finalizers 
var fingwait bool // 休眠 标记 。 
var fingwake bool // 唤醒 标记 。 





func runfinq() { 
hone 
// 置换 运行 队列 。 
// 因为 是 并 发 ， 所 以 在 执行 runfinq 时 不 能 影响 新 的 添加 操作 。 
b= ind 
mo = na 


// 如 果 队 列 为 空 ， 则 进入 休眠 。 


1 lo a ll a 
// 设置 全 局 变量 fing。 
gp := getg() 
fing = gp 





// 设置 休眠 标志 ， 休 眠 。 
fingwait = true 





goparkunlock(&finlock, "finalizer wait", traceEvGoBlock, 1) 


// 唤醒 后 重新 检查 队列 。 


continue 


// 遍历 finq 链表 。 
tom na 
// 遍历 finblock 内 部 数组 。 
ho FOG 
// 获取 并 执行 finalizer。 
f := (x*finalizer)(add(unsafe,.Pointer(&fb,.fin), ...)) 
reflectcall(nil, unsafe.Pointer(f,.fn), frame, ...) 


hn il 
arg = ral 
fot = ni 
Demi = 


next := fb.next 


// 将 当前 已 完成 任务 的 finalizer 对 象 放 回 finc 复 用 缓存 。 
fbnext = fine 
es= hb 





De =x 


一 路 走 来 ， 已 记 不 清 runtime 创建 了 多 少 类 似 fing 这 样 在 以 死 循 环 方式 工作 的 goroutine 了 。 好 
在 像 fing 这 样 都 是 按 需 创建 的 。 





循环 遍历 所 有 finblock， 执 行 其 中 的 析 构 函数 。 要 说 有 所 不 同 ， 就 是 它们 会 在 同一 个 G 栈 
串 行 执行 。 剩 余 问 题 是 ， 当 fing 执行 完毕 进入 休眠 后 ， 谁 来 唤醒 ”要 知道 queuefinalizer 
仅仅 设置 了 fingwake 标志 。 


还 记得 调度 循环 里 四 处 查找 可 用 任务 的 findrunnable 函数 吗 ” 没 错 ，fing 也 是 它 要 寻找 的 
目标 之 一 。 


procl.go 


func findrunnable() (gp *g, inheritTime bool) { 
// 如 果 fing 正在 休眠 ， 且 被 设置 了 唤醒 标志 。 
if fingwait && fingwake { 
// 唤醒 。 
全 要 汪汪 1 
ready(gp，0) 
} 


mfinal.go 


func wakefing() x*g { 
var res *g 


// 再 次 检查 唤醒 条 件 。 

if fingwait && fingwake { 
fingwat = "fatse 
fingwake = false 
res = fing 


ewanes 


不 管 是 panic， 还 是 finalizer， 都 有 特定 的 使 用 场景 ， 因 为 它们 有 相应 的 设计 制约 。 这 种 制约 不 
应 被 看 做 缺陷 ， 毕 竞 我 们 本 就 不 该 让 它们 去 做 无 法 保证 的 事情 。 保 持 有 限度 的 谨慎 和 翡 观 不 是 坏 
事 ， 但 不 能 因此 就 无 理由 地 去 抵制 和 忽视 。 了 解 其 原理 ， 永 远 不 要 停留 在 文档 的 字里行间 里 。 





十 .缓存 池 


设计 对 象 缓存 池 ， 除 避免 内 存 分 配 操作 开销 外 ， 更 多 的 是 为 了 避免 分 配 大 量 临时 对 象 对 垃 
圾 回收 器 造成 负面 影响 。 只 是 有 一 个 问题 需要 解决 ， 就 是 如 何在 多 线程 共享 的 情况 下 ， 解 
决 同步 锁 带 来 的 性 能 弊端 ， 尤 其 是 高 并 发 情形 下 。 
因 Golang goroutine 机 制 对 线程 的 抽象 ， 造 成 我 们 以 往 基于 LIS 的 方案 统统 无 法 实施 。 就 
算 funtime 对 我 们 开放 线程 访问 接口 也 未 必 有 用 。 因 为 G 可 能 在 中 途 被 调度 给 其 他 线程 ， 
甚至 你 设置 了 LIS 的 线程 会 深 回 闲置 队列 休眠。 


为 此 ， 官 方 提供 了 一 个 深入 runtime 内 核 运作 机 制 的 sync.Pool。 其 算法 已 被 内 存 分 配 、 垃 
圾 回收 和 调度 器 所 使 用 ， 算 是 得 到 验证 的 成 熟 高 效 体系 。 


1. 初始 化 


用 于 提供 本 地 缓存 对 象 分 配 的 poolLocal 类 似 内 存 分 配器 里 的 cache， 总 是 和 了 绑 定 ， 为 
当前 工作 线程 提供 快速 无 锁 分 配 。 而 Pool 则 管理 多 个 P/poolLocal。 


bool.go 


type Pool struct { 


local unsafe.Pointer // [P]pootLLocat 数组 指针 。 
localSize uintptr // 数组 内 poolLocal 数量 。 
New func() interface{} // 新 建 对 象 函数 。 


用 


type poolLocal struct { 
private interface{} // 私有 缓存 区 。 








shared []interface{} // 可 共享 缓存 区 。 
Mutex 
pad [128]byte 


Pool 用 local 和 localSize 维护 一 个 动态 poolLocal 数组 。 无 论 是 Get， 还 是 Put 操作 都 会 
通过 pin 来 返回 与 当前 ?了 绑 定 的 poolLocal 对 象 ， 这 里 面 就 有 初始 化 的 关键 。 


pool.go 
func (p *Pool) pin() x*poolLocal { 


// 返回 当前 P, id。 
pid := runtime_procPin() 














atomic.LoadUintptr(&p.LocatLSize) 
paoGail 


一 wm 
ll 


// 如 果 P.id 没有 超出 数组 索引 限制 ， 则 直接 返回 。 
// 这 是 考虑 到 procresize/GOMAXPROCS 的 影响 。 
a lo oe iol) es A 

return indexLocal(l, pid) 





// 没有 结果 时 ， 会 涉及 到 全 局 加 锁 操作 。 
// 比如 重新 分 配 数组 内 存 ， 添 加 到 全 局 列表 。 
return p.pinSlow() 


bool.go 


var ( 
allPoolsMu Mutex 
allPools []x*Pool 


func (p #PooL) pinSlow() x*poolLocal { 
// M. lock—— 
runtime_procUnpin() 


// 加 锁 。 
allPoolsMu.Lock() 
defer allPoolsMu.Unlock() 


pid := runtime_procPin() 


// 再 次 检查 是 否 符合 条 件 ， 可 能 中 途 已 被 其 他 线程 调用 。 
5 


aocaiSze 

p. local 

ef unt (gt 

return indexLocal(l, pid) 


// 如 果 数 组 为 空 ， 新 建 。 
// 将 其 添加 到 aLLPooLs， 垃 圾 回收 器 以 此 获取 所 有 Pool 实例 。 
oa mallet 

allPools = append(allPools, p) 





// 根据 P 数量 创建 slice。 
size := runtime.GOMAXPROCS(0) 
local := make( [lpoolLocal, size) 


// 将 底层 数组 起 始 指针 保存 到 Pool. LocaL， 并 设置 P. localSize。 
atomic.StorePointer( (*unsafe.Pointer) (&p. local), unsafe.Pointer(&local[0])) 


atomic.StoreUintptr(&p.LocatLSize，uintptr(size)) 








// 返回 本 次 所 需 的 poolLocal。 
return &locall[pid] 











至 于 indexLocal 操作 完全 是 “聪明 且 偷 懒 的 做 法 。 


bool.go 


func indexLocaL(L unsafe.Pointer，i int) x*poolLocal { 
// 不 去 考虑 PooL. LocaL， 也 就 是 1 参数 实际 数组 长 度 ， 反 正 也 不 会 超过 1000000。 
// 直接 将 其 转换 成 大 数组 ， 然 后 按 索 引号 返回 poolLocal 即 可 。 
return &(*[1000000]poolLocal) (1)[il] 











oo 


不 要 觉得 无 厘 头 ， 这 种 做 法 在 C 里 很 常见 ， 甚 至 你 在 某 些 操作 系统 的 源码 里 也 会 看 到 类 似 的 东 
西 。 这 么 做 不 用 去 考虑 P 数量 变化 ， 或 者 对 -MaxGomaxprocs 的 修改 ， 直 接 以 性 能 优先 。 


2. 操作 


和 调度 絮 对 了 .rung 队列 处 理 方式 类 似 。 每 个 poolLocal 有 两 个 缓存 区 域 ， 其 中 private 完 
全 私有 ， 无 需 任何 锁 操 作 ， 优 先 级 最 高 。 另 一 区 域 share ， 人 允许 被 其 他 poolLocal 访问 , 用 
来 平衡 调度 缓存 对 象 ， 需 要 加 锁 处 理 。 不 过 调度 并 非 时 刻 发 生 ， 这 个 锁 多 数 时 候 仅 面 对 当 
前 线程 ， 所 以 对 性 能 影响 并 不 大 。 


bool.go 


func (p *Pool) Get() interface{} { 
// 返回 poolLocal。 














Wn 


// 优先 从 private 选择 。 
X= vate 
pravate = na 
f= 
Pew 





// 加 锁 ， 从 share 区 域 获取 。 
leo'ele() 


// 从 shared 尾部 提取 缓存 对 象 。 


last := Len(L.shared) - 1 

eft ont 
Xsharedltast 
l.shared = \.shared[:1last] 


} 

l.Unlock() 

"en 
lew 

上 


// 如 果 提 取 失 败 ， 则 需要 获取 新 的 缓存 对 象 。 
return p.getSlow() 


如 果 从 本 地 获取 缓存 失败 ， 则 考虑 从 其 他 poolLocal 借调 (就 是 惯 偷 ) 一 个 过 来 。 实 在 不 
行 ， 调 用 New 函数 新 建 (最 终 手 段 ) 。 


bool.go 


func (p #PootL) getSlow() (x interface{}) { 
size := atomic.LoadUintptr(&p. localSize) 
Locat:.=3batoea 


// 当前 P.id。 
pid := runtime_procPin() 


// 从 其 他 pooLLocalt 偷 取 一 个 缓存 对 象 。 
Om = Oe (et 
// 获取 目标 pooLLocaL， 且 保证 不 是 自身 。 
L := indexLocal(local, (pid+i+1)%int(size)) 








// 对 目标 pooLLocat 加 锁 ， 以 便 访问 其 share 区 域 。 
l.Lock() 


// 偷 取 一 个 换 换 对 象 。 

last := len(l.shared) - 1 

Tf Uaste >= 0 
x = l.shared[last] 
l.shared = L,shared[:Last] 


l.Unlock() 
break 

上 

l.Unlock() 


// 偷 取 失败 ， 使 用 New 函数 新 建 。 
I nNew ma 
x = p.New() 


人 ET 人 IT 


注意 : Get 操作 后 ， 缓 存 对 象 彻底 与 Pool 失去 引用 关联 ， 需 要 自行 Put 放 回 。 


至 于 Put 操作 ， 就 更 简单 了 ， 不 需 考虑 不 同 poolLocal 之 间 的 平衡 调度 。 


bool.go 
func (p #PooL) Put(x interface{}) { 


if x == nil +{ 
return 


// 获取 poolLocal。 
I os To ential 


J Dr ivates 


ef vane na 
VE 二 
X = nil 

上 

1 
return 

上 


/hones 

Eoeksy 

l.shared = append(l.shared, x) 
Unuoek 人 二 


3. 清理 


借助 垃圾 回收 机 制 ， 我 们 无 需 考虑 Pool 收缩 问题 。 只 是 


mgc.go 
func gc(mode int) { 


systemstack(stopTheWorldWithSema) 
clearpools() 


var poolcleanup func() 


官方 的 设计 似乎 有 些 粗暴 。 


func clearpools() { 
// clear sync.Pools 
if poolcleanup != nil { 
poolcleanup() 


这 个 poolcleanup 函数 需要 额外 注册 。 


mgc.go 


//go: linkname sync_runtime_registerPoolCleanup sync.runtime_registerPoolCleanup 
func sync_runtime_registerPoolCleanup(f func()) { 
poolLeleanup = 


pool.go 


func init() { 
runtime_registerPoolCleanup(poolCleanup) 


真正 的 目标 是 PoolCleanup。 此 时 正 处 于 STW 状态 ， 所 以 无 需 加 锁 操作 。 


pool.go 


func poolCleanup() { 
// 遍历 所 有 Pool 实例 。 
om poange ollpoolse 
// 解除 引用 。 
allPools[i] = nil 


// 遍历 Pool.poolLocal 数组 。 

fioma = 0 < intlLocalSsLzel Te 
// 获取 poolLocal。 
"> indextkoealt(palocale ey 


// 清理 private 和 share 区 域 。 

private = nl 

tom angensharedet 
UsharnredlB n= mit 

上 


LSNafeds 王 可 


// 设置 PooL.LocaL = nil， 除 解除 所 引用 的 数组 空间 外 ， 
// 还 让 Pool.pinSlow 方法 会 将 其 重新 添加 到 aLLPootLs。 





DUOGaN .nl 
puiocalsnzee oO 
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// 重 置 aLLPooLs， 需 要 所 有 PooL.pinSLow 重新 添加 。 
allPools = []*Pool{} 


清理 操作 对 已 被 Get 的 可 达 对 象 没 有 任何 影响 ， 因 为 两 者 之 间 并 没有 引用 关联 ， 留 下 的 绥 
存 对 象 都 属于 仅 被 Pool 引用 的 可 移 除 白色 对 象 。 


或 许 我 们 希望 设置 一 个 国 值 ， 仅 清理 超出 数量 限制 的 缓存 对 象 。 如 此 ， 可 避免 在 垃圾 回收 


后 频繁 执行 New 操作 。 但 考虑 到 此 时 还 有 一 批 可 能 的 黑色 缓存 对 象 存在 ， 所 以 需求 也 不 
是 那么 急切 。 只 是 ， 这 个 Pool 的 设计 显然 有 进一步 改进 的 余地 。 


(全 书 结束 ) 


